Hive如何处理小文件问题？

迈不过友情╰ 2022-05-12 14:06 242阅读 0赞

## 一、小文件是如何产生的 ##

1.动态分区插入数据，产生大量的小文件，从而导致map数量剧增。

2.reduce数量越多，小文件也越多(reduce的个数和输出文件是对应的)。

3.数据源本身就包含大量的小文件。

## 二、小文件问题的影响 ##

1.从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。

2.在HDFS中，每个小文件对象约占150byte，如果小文件过多会占用大量内存。这样NameNode内存容量严重制约了集群的扩展。

## 三、小文件问题的解决方案 ##

从小文件产生的途经就可以从源头上控制小文件数量，方法如下：

1.使用Sequencefile作为表存储格式，不要用textfile，在一定程度上可以减少小文件。

2.减少reduce的数量(可以使用参数进行控制)。

3.少用动态分区，用时记得按distribute by分区。

## 四、对于已有的小文件，我们可以通过以下几种方案解决： ##

1.使用hadoop archive命令把小文件进行归档。

2.重建表，建表时减少reduce数量。

3.通过参数进行调节，设置map/reduce端的相关参数，如下：

### **设置map输入合并小文件的相关参数：** ###

//每个Map最大输入大小(这个值决定了合并后文件的数量)

set mapred.max.split.size=256000000;

//一个节点上split的至少的大小(这个值决定了多个DataNode上的文件是否需要合并)

set mapred.min.split.size.per.node=100000000;

//一个交换机下split的至少的大小(这个值决定了多个交换机上的文件是否需要合并)

set mapred.min.split.size.per.rack=100000000;

//执行Map前进行小文件合并

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

**设置map输出和reduce输出进行合并的相关参数：**

//设置map端输出进行合并，默认为true

set hive.merge.mapfiles = true

//设置reduce端输出进行合并，默认为false

set hive.merge.mapredfiles = true

//设置合并文件的大小

set hive.merge.size.per.task = 256\*1000\*1000

//当输出文件的平均大小小于该值时，启动一个独立的MapReduce任务进行文件merge。

set hive.merge.smallfiles.avgsize=16000000

欢迎留言联系，上海尚学堂[大数据培训][Link 1]李同学笔记原创，转载请先联系。

[Link 1]: https://www.shsxt.com/cloud

发表评论取消回复

表情：

评论列表（有 0 条评论，242人围观）

还没有评论，来说两句吧...

相关阅读

相关 hive 合并小文件处理方案 -转载

adoop使用lzo压缩，block块大小为512MB 环境：hadoop2.6+hive1.2.1 lzo压缩启动压缩 set hive.exe...

分手后的思念是犯贱/ 2024年04月17日 15:40/ 0 赞/ 30 阅读

相关 hive合并小文件

> 参考资料:https://blog.csdn.net/lalaguozhe/article/details/9053645 我们这边改为底层数据改成hive的parque

╰半橙微兮°/ 2022年12月27日 08:57/ 0 赞/ 141 阅读

相关 Hive小文件问题：如何产生、造成影响、解决办法

一、小文件是如何产生的 1.动态分区插入数据，产生大量的小文件，从而导致map数量剧增。 2.reduce数量越多，小文件也越多(reduce的个数和输出文件是对应的)

向右看齐/ 2022年10月16日 08:45/ 0 赞/ 137 阅读

相关彻底解决Hive小文件问题

最近发现离线任务对一个增量`Hive`表的查询越来越慢，这引起了我的注意，我在`cmd`窗口手动执行`count`操作查询发现，速度确实很慢，才不到五千万的数据，居然需要`30

拼搏现实的明天。/ 2022年09月12日 03:52/ 0 赞/ 178 阅读

相关 hive合并小文件

1. Map输入合并小文件对应参数： set mapred.max.split.size=256000000; \每个Map最大输入大小 set mapred.

野性酷女/ 2022年06月17日 08:47/ 0 赞/ 122 阅读

相关 Hive如何处理小文件问题？

一、小文件是如何产生的 1.动态分区插入数据，产生大量的小文件，从而导致map数量剧增。 2.reduce数量越多，小文件也越多(reduce的个数和输出文件是对应的)

迈不过友情╰/ 2022年05月12日 14:06/ 0 赞/ 243 阅读

相关 Hive小文件合并

Hive的后端存储是HDFS，它对大文件的处理是非常高效的，如果合理配置文件系统的块大小，NameNode可以支持很大的数据量。但是在数据仓库中，越是上层的表其汇总程度就越高，

﹏ヽ暗。殇╰゛Y/ 2022年01月31日 07:41/ 0 赞/ 198 阅读

相关 HIVE如何处理大量小文件

一、控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文

怼烎@/ 2022年01月30日 11:55/ 0 赞/ 374 阅读

相关 Hive小文件合并

Hive的后端存储是HDFS，它对大文件的处理是非常高效的，如果合理配置文件系统的块大小，NameNode可以支持很大的数据量。但是在数据仓库中，越是上层的表其汇总程度就越高，

Love The Way You Lie/ 2021年12月15日 15:41/ 0 赞/ 246 阅读

相关 hive中导入文件小文件问题

问题描述：参考https://www.iteblog.com/archives/1533.html 一个表里面每个分区又300个小文件，小文件数量太多，就想把文件导入一

港控/mmm°/ 2021年12月05日 03:45/ 0 赞/ 247 阅读