GenericUDTF使用流程记载(转载+自己整理)

深藏阁楼爱情的钟 2023-01-01 09:49 94阅读 0赞

### 概述 ###

本文是对\[1\]的整理和复现。

UDTF的意思是进一出多。

在hive中UDTF的意思是，输入一条数据，返回多条数据

### 环境 ###

<table style="width:307px;"> 
 <tbody> 
  <tr> 
   <td style="width:106px;"><strong>组件</strong></td> 
   <td style="width:198px;"><strong>版本</strong></td> 
  </tr> 
  <tr> 
   <td style="width:106px;">Hadoop</td> 
   <td style="width:198px;">3.1.2</td> 
  </tr> 
  <tr> 
   <td style="width:106px;">Zookeeper</td> 
   <td style="width:198px;">3.6.0</td> 
  </tr> 
  <tr> 
   <td style="width:106px;">Mysql</td> 
   <td style="width:198px;">8.0.22-0ubuntu0.20.04.2</td> 
  </tr> 
  <tr> 
   <td style="width:106px;">Hive</td> 
   <td style="width:198px;">3.1.2</td> 
  </tr> 
 </tbody> 
</table>

### Hive准备工作 ###

use db1;
    drop table if exists test;
    create table test(
    ind int,
    col string,
    col1 string
    );
    insert into test values (1,'a,b,c','1,2');
    insert into test values (2,'j,k',null);
    insert into test values (3,null,null) ;

### 注册GenericUDTF流程 ###

<table> 
 <tbody> 
  <tr> 
   <td><strong>注册命令(hive/beeline中进行)</strong></td> 
   <td><strong>备注</strong></td> 
  </tr> 
  <tr> 
   <td>add jar /home/appleyuchi/桌面/Flink_Code/FLINK读写各种数据源/Java/target/table_api-1.0-SNAPSHOT.jar;</td> 
   <td>指明自定义依赖包</td> 
  </tr> 
  <tr> 
   <td>create temporary function get_map as 'ArrToMapUDTF';</td> 
   <td>依赖包中的类ArrToMapUDTF注册为get_map</td> 
  </tr> 
 </tbody> 
</table>

### 使用GenericUDAF流程 ###

<table style="width:657px;"> 
 <tbody> 
  <tr> 
   <td style="width:273px;"><strong>hive命令</strong></td> 
   <td style="width:212px;"><strong>实验结果</strong></td> 
   <td style="width:169px;"><strong>备注</strong></td> 
  </tr> 
  <tr> 
   <td style="width:273px;"> <p>use db1;</p> <p>select * from test;</p> </td> 
   <td style="width:212px;"> <p>1&nbsp;&nbsp; &nbsp;a,b,c&nbsp;&nbsp; &nbsp;1,2<br> 2&nbsp;&nbsp; &nbsp;j,k&nbsp;&nbsp; &nbsp;NULL<br> 3&nbsp;&nbsp; &nbsp;NULL&nbsp;&nbsp; &nbsp;NULL</p> </td> 
   <td style="width:169px;">检查hive功能是否ok</td> 
  </tr> 
  <tr> 
   <td style="width:273px;"> <p>use db1;</p> <p>select get_map(col,col1) from test;</p> </td> 
   <td style="width:212px;">a&nbsp;&nbsp; &nbsp;1<br> b&nbsp;&nbsp; &nbsp;2<br> c&nbsp;&nbsp; &nbsp;NULL<br> j&nbsp;&nbsp; &nbsp;NULL<br> k&nbsp;&nbsp; &nbsp;NULL</td> 
   <td style="width:169px;">使用写好的udtf</td> 
  </tr> 
 </tbody> 
</table>

从实验结果来看这个GenericUDAF的效果也很明显:

把一条数据打散。

**完整代码:**

[https://gitee.com/appleyuchi/Flink\_Code/blob/master/FLINK读写各种数据源/Java/src/main/java/ArrToMapUDTF.java][https_gitee.com_appleyuchi_Flink_Code_blob_master_FLINK_Java_src_main_java_ArrToMapUDTF.java]

另外一个完整的例子可以参考\[2\]

**Reference:**

\[1\][hive中udtf编写及使用][hive_udtf]

\[2\][Hive User Defined Table Generating Functions (UDTF) Java Example][Hive User Defined Table Generating Functions _UDTF_ Java Example]

[https_gitee.com_appleyuchi_Flink_Code_blob_master_FLINK_Java_src_main_java_ArrToMapUDTF.java]: https://gitee.com/appleyuchi/Flink_Code/blob/master/FLINK%E8%AF%BB%E5%86%99%E5%90%84%E7%A7%8D%E6%95%B0%E6%8D%AE%E6%BA%90/Java/src/main/java/ArrToMapUDTF.java
[hive_udtf]: https://blog.csdn.net/u012485099/article/details/80790908
[Hive User Defined Table Generating Functions _UDTF_ Java Example]: http://hive.praveendeshmane.co.in/hive/hive-user-defined-table-generating-functions-UDTF-java-example.jsp