HDFS小文件问题及处理方法【重要】

太过爱你忘了你带给我的痛 2023-10-14 12:01 11阅读 0赞

**一、小文件形成的原因：**

（1）动态分区插入数据，产生大量的小文件，从而导致map数量剧增；

（2）reduce数量越多，小文件也越多，reduce的个数和输出文件个数一致；

（3）数据源本身就是大量小文件；

**二、小文件的危害：**

（1）在 HDFS 中，  每个文件均   **按块存储，**  每个文件在 NameNode 中存储大约占 150 个字节，  **与块大小无关，**  如果小文件过多，则会耗尽 NameNode 中的大多数内存。

（2）从Hive角度看，小文件过多也会影响 MR 的执行任务的数量，  **一个小文件会开启一个 MapTask，同时**   **一个map会开一个JVM去执行**  ，  任务过多则会导致频繁的开启关闭，  浪费大量的资源，严重影响性能。

**三、解决小文件问题常见方法：**

**解决小文件问题的本质就是将小文件进行合并，可以通过以下几种方式解决小文件问题：**

**（1）使用Hadoop Archive（HAR）将小文件进行归档：**  使用Hadoop自带的HAR将小文件进行归档，将多个小文件打包成一个HAR文件，这样NameNode中的元数据也就存储一份。在减少namenode内存使用的同时，仍然可以对文件进行透明的访问。

使用HAR时需要注意两点：

*  对小文件进行存档后，原文件不会自动被删除，需要用户自己删除；
 *  创建HAR文件的过程实际上是在运行一个MapReduce作业，因而需要有一个Hadoop集群运行此命令

此外，HAR还有一些缺陷：

*  不支持修改，一旦创建，Archives便不可改变。要增加或移除里面的文件，必须重新创建归档文件。
 *  要归档的文件名中不能有空格，否则会抛出异常，可以将空格用其他符号替换。

**（2）使用SequenceFile合并小文件：**  可以使用SequenceFile格式将大批的小文件合并成一个大文件，再使用MapReduce程序进行操作，从而提高系统性能。

（SequenceFile由一系列二进制key-value组成，key是小文件名，value是小文件内容，这样就可以将大量小文件合并为一个大文件。）

注意：和HAR不同的是，这种方式还支持压缩。该方案对于小文件的存取都是比较自由的，不限制用户和文件的多少，但SequenceFile文件不能追加写入，也不能修改，  **适用于一次性写入大量小文件的操作。**

**（3）使用CombineFileInputFormat合并小文件：**  在MR读取数据时将多个小文件合并成一个文件进行处理，只开启一个MapTask，提高了任务的执行效率。

（这样就不会因为大量小文件而开启大量的MapTask，把大量的时间花费在启动和释放task上面）

**（4）开启JVM重用：**  JVM重用可以使得JVM实例在同一个job中重新使用N次，提高效率。N的值可以在Hadoop的 mapred-site.xml 中配置。通常在10-20之间。

注意：有小文件场景时可以开启JVM重用；如果没有产生小文件，不要开启JVM重用，因为会一直占用task卡槽，直到任务完成才释放。

> 参考： [ 大数据Hadoop之——HDFS小文件问题与处理实战操作 ][_Hadoop_HDFS_]

[_Hadoop_HDFS_]: https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fwww.cnblogs.com%2Fliugp%2Fp%2F16610549.html%23%3A~%3Atext%3D%25E4%25BA%258C%25E3%2580%2581HDFS%25E5%25B0%258F%25E6%2596%2587%25E4%25BB%25B6%25E9%2597%25AE%25E9%25A2%2598%25E5%25A4%2584%25E7%2590%2586%25E6%2596%25B9%25E6%25A1%2588%25201%25201%25EF%25BC%2589Hadoop%2520Archive%25EF%25BC%2588HAR%25EF%25BC%2589%2520Hadoop%2520Archive%25EF%25BC%2588HAR%25EF%25BC%2589%2520%25E6%2598%25AF%25E4%25B8%2580%25E4%25B8%25AA%25E9%25AB%2598%25E6%2595%2588%25E5%259C%25B0%25E5%25B0%2586%25E5%25B0%258F%25E6%2596%2587%25E4%25BB%25B6%25E6%2594%25BE%25E5%2585%25A5HDFS%25E5%259D%2597%25E4%25B8%25AD%25E7%259A%2584%25E6%2596%2587%25E4%25BB%25B6%25E5%25AD%2598%25E6%25A1%25A3%25E5%25B7%25A5%25E5%2585%25B7%25EF%25BC%258C%25E5%25AE%2583%25E8%2583%25BD%25E5%25A4%259F%25E5%25B0%2586%25E5%25A4%259A%25E4%25B8%25AA%25E5%25B0%258F%25E6%2596%2587%25E4%25BB%25B6%25E6%2589%2593%25E5%258C%2585%25E6%2588%2590%25E4%25B8%2580%25E4%25B8%25AAHAR%25E6%2596%2587%25E4%25BB%25B6%25EF%25BC%258C%25E8%25BF%2599%25E6%25A0%25B7%25E5%259C%25A8%25E5%2587%258F%25E5%25B0%2591namenode%25E5%2586%2585%25E5%25AD%2598%25E4%25BD%25BF%25E7%2594%25A8%25E7%259A%2584%25E5%2590%258C%25E6%2597%25B6%25EF%25BC%258C%25E4%25BB%258D%25E7%2584%25B6%25E5%2585%2581%25E8%25AE%25B8%25E5%25AF%25B9%25E6%2596%2587%25E4%25BB%25B6%25E8%25BF%259B%25E8%25A1%258C%25E9%2580%258F%25E6%2598%258E%25E7%259A%2584%25E8%25AE%25BF%25E9%2597%25AE%25E3%2580%2582%2520...%2CHDFS%25EF%25BC%2588appendToFile%2520%25EF%25BC%2589%2520...%25206%25206%25EF%25BC%2589%25E5%2590%2588%25E5%25B9%25B6%2520HDFS%2520%25E7%259A%2584%25E5%25B0%258F%25E6%2596%2587%25E4%25BB%25B6%25EF%25BC%258C%25E4%25B8%258B%25E8%25BD%25BD%25E5%2588%25B0%25E6%259C%25AC%25E5%259C%25B0%25EF%25BC%2588getmerge%25EF%25BC%2589%2520