Hive07-函数

系统内置函数

查看系统自带的函数：hive> show functions;

显示自带的函数的用法：hive> desc function upper;

详细显示自带的函数的用法：hive> desc function extended upper;

自定义函数

• UDF（User-Defined-Function）：一进一出
• UDAF（User-Defined Aggregation Function）：聚集函数，多进一出，类似于：count/max/min
• UDTF（User-Defined Table-Generating Functions）：一进多出，如 lateral view explore()
• 官方文档地址：https://cwiki.apache.org/confluence/display/Hive/HivePlugins

自定义UDF 函数

UDF(user defined functions) 用于处理单行数据，并生成单个数据行。

编程步骤

1. 继承org.apache.hadoop.hive.ql.UDF

2. 需要实现evaluate 函数；evaluate 函数支持重载；回调方法，函数名不可修改

3. 在hive 的命令行窗口创建函数

   添加 jar：add jar linux_jar_path

   创建 function：create [temporary] function [dbname.]function_name AS class_name;

4. 在hive 的命令行窗口删除函数

   Drop [temporary] function [if exists] [dbname.]function_name;

5. UDF 必须要有返回类型，可以返回null，但是返回类型不能为void

实操：

1. 创建一个Maven 工程Hive；

2. 导入依赖

<dependencies>
<!--https://mvnrepository.com/artifact/org.apache.hive/hive-exec -->
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>1.2.1</version>
    </dependency>
</dependencies>

1. 创建自定义UDF类

package com.atguigu.hive;
import org.apache.hadoop.hive.ql.exec.UDF;
public class Lower extends UDF {
    public String evaluate (String s) {
        if (s == null) {
            return null;
        }
        return s.toLowerCase();
    }
}

1. 打成jar 包上传到服务器/opt/module/datas/udf.jar

2. 将jar 包添加到hive 的classpath：hive (default)> add jar /opt/module/datas/udf.jar;

3. 创建临时函数与开发好的java class 关联：hive (default)> create temporary function mylower as
   “com.atguigu.hive.Lower”;

4. 在hql 中使用自定义的函数：hive (default)> select ename, mylower(ename) lowername from emp;

自定义UDTF 函数

UDTF(user defined Table functions) 用于处理单行数据，并生成多个数据行。

用户定义聚集函数（user-defined aggregate function ）， UDAF

自定义一个UDTF 实现将一个任意分割符的字符串切割成独立的单词

package com.atguigu.udtf;
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

import java.util.ArrayList;
import java.util.List;
public class MyUDTF extends GenericUDTF {
    private ArrayList<String> outList = new ArrayList<>();
    @Override
    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {
        //1.定义输出数据的列名和类型
        List<String> fieldNames = new ArrayList<>();
        List<ObjectInspector> fieldOIs = new ArrayList<>();
        //2.添加输出数据的列名和类型
        fieldNames.add("lineToWord");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs);
    }
    @Override
    public void process(Object[] args) throws HiveException {
        //1.获取原始数据
        String arg = args[0].toString();
        //2.获取数据传入的第二个参数，此处为分隔符
        String splitKey = args[1].toString();
        //3.将原始数据按照传入的分隔符进行切分
        String[] fields = arg.split(splitKey);
        //4.遍历切分后的结果，并写出
        for (String field : fields) {
            //集合为复用的，首先清空集合
            outList.clear();
            //将每一个单词添加至集合
            outList.add(field);
            //将集合内容写出
            forward(outList);
        }
    }
    @Override
    public void close() throws HiveException {
    }
}

打成jar 包上传到服务器/opt/module/data/udtf.jar

将jar 包添加到hive 的classpath 下：hive (default)> add jar /opt/module/data/udtf.jar;

创建临时函数与开发好的java class 关联：hive (default)> create temporary function myudtf as “com.atguigu.hive.MyUDTF”;

在hql 中使用自定义的函数：hive (default)> select myudtf(line, “,”) word from words;