hive有关的MapReduce大作业的性能问题(mapper数过多)

灰太狼 2022-05-08 12:33 361阅读 0赞

**Hive查询涉及的小文件过多对MR作业的危害：**  
Hadoop2.X中的小文件是指文件size小于HDFS的块（block）大小（例如128M）的文件。  
一般来说MapTask(Map任务)每次处理一个块大小的input(默认使用FileInputFormat)。如果input到map任务的文件很小而且数量很多，那么每一个map task只是处理很小的input数据，会产生大量的map tasks，每一个map task都会额外增加bookkeeping开销（each of which imposes extra bookkeeping overhead）。比如说一个1GB的文件拆分成8个块大小文件（默认block size为128M），相对于拆分成10000个100KB的小文件，后者每一个小文件分别启动一个map task，那么job的处理时间将会比前者要慢几十倍甚至更多。  
所以需要对输入map任务的小文件们合并一下，hive-site.xml中有几个与合并小文件有关的参数。  
*hive.merge.mapfiles ：是否开启合并 Map 端小文件，true是打开  
hive.merge.mapredfiles ：是否开启合并 Map/Reduce 小文件，true是打开  
hive.hadoop.supports.splittable.combineinputformat ：是否支持可切分的CombieInputFormat ，true是支持*  
![在这里插入图片描述][70]

**检验——  
（1）开启之前**

insert overwrite directory"ks3://test-hue/ctr/lookalike/users/cid=10/webid=10003945/dt=2018-09-27/label=positive/usersource=inner-data/"
    SELECT uuid
    FROM auction_adx_v3.reporthivelog
    WHERE dt >= '2018-08-27' AND cid = 10 AND eventcode = 3 AND advertisementId IN ('5b6ba093e4b02538489b7ef7')
    GROUP BY uuid;

![在这里插入图片描述][70 1]  
![在这里插入图片描述][70 2]  
此时Map()数量1968个。作业耗时：13 minutes

**（2）开启合并小文件后**  
参数hive.merge.mapfiles 和 hive.hadoop.supports.splittable.combineinputformat 均已生效，  
到Ambari页面查看已生效的参数：  
![在这里插入图片描述][70 3]

重启hive的HiveMetaStore服务和HiveServer2服务以后，执行作业检测运行性能：

insert overwrite directory 
    "ks3://test-hue/ctr/lookalike/users/cid=10/webid=10003945/dt=2018-09-27/label=positive/usersource=inner-data/"
    SELECT uuid
    FROM auction_adx_v3.reporthivelog
    WHERE dt >= '2018-08-27' AND cid = 10 AND eventcode = 3 AND advertisementId IN ('5b6ba093e4b02538489b7ef7')
    GROUP BY uuid;

![在这里插入图片描述][70 4]  
此时mapper数量193个。作业耗时：5 minutes  
很明显，性能的提升是由于设置了关键参数hive.hadoop.supports.splittable.combineinputformat之后产生的。

[70]: /images/20220508/4e2886bb0b564d2da3cbec7a2cd8602f.png
[70 1]: /images/20220508/5ef61f4266d04c61b9eb4b8286de1e1c.png
[70 2]: /images/20220508/ba03a57559fd4446b0a43bb61a5b23ba.png
[70 3]: /images/20220508/7931063ce82d4abdae102c75cfa8d102.png
[70 4]: /images/20220508/86cf6acb7b094378a3c082b1fd10078b.png