[Hive]用concat_w实现将多行记录合并成一行

叁歲伎倆 2021-09-17 10:46 2960阅读 0赞

[https://blog.csdn.net/yeweiouyang/article/details/41286469][https_blog.csdn.net_yeweiouyang_article_details_41286469]

[https://blog.csdn.net/waiwai3/article/details/79071544][https_blog.csdn.net_waiwai3_article_details_79071544]

需求：对用户的订单进行分析，将不同订单类型分别多少单展示出来，每个用户一行

原数据：

user    order\_type    order\_number  
user1    delivered    10  
user2    returned    1  
user1    returned    3  
user2    delivered    20  
目标：  
user    order  
user1    delivered(10),returned(3)  
user2    delivered(20),returned(1)

1.使用concat（）函数将order\_type和order\_number连接起来

concat（order\_type,'(',order\_number,')'）

user    order  
user1    delivered(10)  
user2    returned(1)  
user1    returned(3)  
user2    delivered(20)  
2.使用concat\_ws（）和collect\_set（）进行合并行  
将上面列表中一个user可能会占用多行转换为每个user占一行的目标表格式，实际是“列转行”

select user,concat\_ws(',',collect\_set(concat（order\_type,'(',order\_number,')'）))  order from table group by user

order是别名

collect\_set的作用：

（1）去重，对group by后面的user进行去重

（2）对group by以后属于同一user的形成一个集合，结合concat\_ws对集合中元素使用，进行分隔形成字符串

建表如下：

\# 创建商品与促销活动的映射表  
hive -e "set mapred.job.queue.name=pms;  
set hive.exec.reducers.max=32;  
set mapred.reduce.tasks=32;  
   
drop table if exists product\_promotion;  
create table product\_promotion(product\_id bigint, promotion\_id String);  
   
insert into table product\_promotion   
select p2.product\_id, p2.promotion\_id   
from pms.promotionv2 p1 inner join pms.promotionv2\_main\_product\_sku p2   
on (p1.id=p2.promotion\_id)  
where from\_unixtime(unix\_timestamp(),'yyyy-MM-dd HH:mm:ss') between p1.start\_date and p1.end\_date;"  
数据表的记录如下：

5112 960024  
5112 960025  
5112 960026  
5112 960027  
5112 960028  
5113 960043  
5113 960044  
5113 960045  
5113 960046  
对promotion\_id进行合并：

select product\_id, concat\_ws('\_',collect\_set(promotion\_id)) as promotion\_ids from product\_promotion group by product\_id  
执行结果：

hive > select product\_id, concat\_ws('\_',collect\_set(promotion\_id)) as promotion\_ids from product\_promotion group by product\_id;  
OK  
5112 960024\_960025\_960026\_960027\_960028  
5113 960043\_960044\_960045\_960046  
Time taken: 3.116 seconds

[https_blog.csdn.net_yeweiouyang_article_details_41286469]: https://blog.csdn.net/yeweiouyang/article/details/41286469
[https_blog.csdn.net_waiwai3_article_details_79071544]: https://blog.csdn.net/waiwai3/article/details/79071544