[Hive]Hive将一行记录拆分成多行

系统管理员 2021-09-19 20:16 812阅读 0赞

[https://blog.csdn.net/yeweiouyang/article/details/46352845][https_blog.csdn.net_yeweiouyang_article_details_46352845]

业务背景  
hive表test\_user\_browse记录了用户浏览过的商品，该表的数据如下：

username    product  
John    product\_a,product\_b,product\_c,product\_d  
Tom    product\_e,product\_f  
现在，想要将product字段拆分为多行。

实现方式  
现在借助lateral view 和explode()来完成。

select   
    username,   
    browse\_product   
from pms.test\_user\_browse   
lateral view explode(split(product, ',')) myTable as browse\_product;  
  
执行结果如下：

username    browse\_product  
John        product\_a  
John        product\_b  
John        product\_c  
John        product\_d  
Tom         product\_e  
Tom         product\_f  
  
lateral view的介绍可以参见lateral view

lateral view为侧视图,意义是为了配合UDTF来使用,把某一行数据拆分成多行数据.不加lateral view的UDTF只能提取单个字段拆分,并不能塞会原来数据表中.加上lateral view就可以将拆分的单个字段数据与原始表数据关联上.

在使用lateral view的时候需要指定视图别名和生成的新列别名

例如

select id,num from table lateral view explode(array1) subview as num;

subview为视图别名,num为指定新列别名

**lateral view explode 相当于一个拆分array1字段的虚表,然后根据id将其与原表进行笛卡尔积关联.**

我们也可以多次使用lateral view explode

select id,num1,num2 from table

lateral view explode(array1) subview1 as num1

lateral view explode(array2) subview2 as num2

where ...;

我们可以理解为lateral view为table的一个cross join,关联键是table的id