hive同一张表union all的优化

矫情吗；* 2021-09-24 02:14 1030阅读 0赞

insert overwrite table dwd.dwd_user_play_event_1d_delta_daily partitions (dt = '${DT}') 
    select *
      from ods.user_event_log_ex 
     where dt = '${DT}' and event_name = 'play_start'
     union all 
    select *
      from ods.user_event_log_ex 
     where dt = '${DT}' and event_name = 'play_end' and play_time > 0
     union all
    select *
      from ods.user_event_log_ex
     where dt = '${DT}' and event_name = 'play_error' and error_code is not null

从上SQL中可以看出都是从同一张表中拉取数据，只是条件不一样，但上面的SQL需要对同一张表扫描三次，每次union all都会产生mapreduce，都是需要消耗资源和时间的，可对以上做如下优化，减少对表的扫描次数和mapreduce的产生。

from ods.user_event_log_ex 
    inser overwrite table dwd.dwd_user_play_event_1d_delta_daily partition (dt = '${DT}')
    select *
      where dt ='${DT}' and event_name = 'play_start'
    insert overwrite table dwd.dwd_user_play_event_1d_delta_daily partition (dt = '${DT}')
    select *
      where dt ='${DT}' and event_name = 'play_end' and play_time > 0
    insert overwrite table dwd.dwd_user_play_event_1d_delta_daily partition (dt = '${DT}')
    select *
      where dt ='${DT}' and event_name = 'play_error' and error_code is not null

发表评论取消回复

表情：

评论列表（有 0 条评论，1030人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive 优化之 union all 与 multi insert

同一张表的union all 要比多重insert快的多，原因是hive本身对这种union all做过优化，即只扫描一次源表；而多重insert也只扫描一次，但应...

素颜马尾好姑娘i/ 2024年04月18日 11:02/ 0 赞/ 50 阅读

相关 union and union all

假设我们有一个表Student，包括以下字段与数据： \[c-sharp\] view plaincopy drop table student;

墨蓝/ 2022年09月17日 07:29/ 0 赞/ 194 阅读

相关 Hive UNION ALL的使用和Hive子查询

UNION的使用 union用于联合多个select语句的结果集，合并为一个独立的结果集。当前只支持UNION ALL(bag union)。不能消除重复行，每个sele

àì夳堔傛蜴生んèń/ 2022年06月10日 14:38/ 0 赞/ 229 阅读

相关 Sql性能优化之UNION、UNION ALL

SQL UNION 操作符 UNION 操作符用于合并两个或多个 SELECT 语句的结果集。请注意，UNION 内部的 SELECT 语句必须拥有相同数量的列。列也必

太过爱你忘了你带给我的痛/ 2022年06月09日 13:23/ 0 赞/ 316 阅读

相关 union和union-all的区别

如果我们需要将两个select语句的结果作为一个整体显示出来，我们就需要用到union或者union all关键字。union(或称为联合)的作用是将多个结果合并在一起显示出来

╰半夏微凉°/ 2022年06月03日 04:59/ 0 赞/ 312 阅读

相关 sql优化 or - union all

以下查询时间为本地数据库，多次点击查询取最优时间 union all ![在这里插入图片描述][20190513090308799.png] ![在这里插入图片描述]

╰半橙微兮°/ 2022年02月01日 02:27/ 0 赞/ 212 阅读

相关 union和union all的区别

1, union和union all的区别是，union会自动压缩多个结果集合中的重复结果，而union all则将所有的结果全部显示出来，不管是不是重复。

╰半夏微凉°/ 2021年11月29日 06:06/ 0 赞/ 449 阅读

相关 mysql union all 区分表名称

背景：最近在做报表统计，因为查不同的订单分布在不同的表里面，不同的表订单状态也不一样，所以用union all 做连接的时候要区分数据是来自那张表的，就是在字段的地方构造一

桃扇骨/ 2021年11月22日 07:14/ 0 赞/ 340 阅读

相关 hive同一张表union all的优化

insert overwrite table dwd.dwd_user_play_event_1d_delta_daily partitions (dt = '${DT

矫情吗；*/ 2021年09月24日 02:14/ 0 赞/ 1031 阅读

相关 union all和union的区别

UNION和UNION ALL的功能都是将两个结果集合并为一个，但是这两个关键字不管从使用还是效率上来说，都是有一定区别的。使用上： 1、对重复结果的处理：UNION在进

ゝ一纸荒年。/ 2021年06月24日 15:59/ 0 赞/ 778 阅读