Hadoop优化有哪些方面

今天药忘吃喽~ 2021-09-25 09:46 438阅读 0赞

### 目录 ###

*  1. 减少HDFS上的小文件的影响
 *  2. 数据输入小文件处理：
 *  3. Map 阶段
 *  4. Reduce 阶段
 *  5. IO 传输
 *  6. 整体

--------------------

Hadoop的优化可以从以下方面进行：

# 1. 减少HDFS上的小文件的影响 #

*  影响 NameNode 的寿命，因为文件元数据存储在 NameNode 的内存中
 *  影响计算引擎的任务数量，比如每个小的文件都会生成一个 Map 任务

# 2. 数据输入小文件处理： #

*  合并小文件：对小文件进行归档（Har）、自定义 Inputformat 将小文件存储成SequenceFile 文件
 *  采用 ConbinFileInputFormat 来作为输入，解决输入端大量小文件场景
 *  对于大量小文件 Job，可以开启 JVM 重用

# 3. Map 阶段 #

*  增大环形缓冲区大小。由 100m 扩大到 200m，即调整`mapreduce.task.io.sort.mb`参数
 *  增大环形缓冲区溢写的比例。由 80%扩大到 90%，即调整`mapreduce.map.sort.spill.percent`参数
 *  减少对溢写文件的 merge 次数。（10 个文件，一次 20 个 merge），即调整`mapreduce.task.io.sort.factor`参数
 *  不影响实际业务的前提下，采用 Combiner 提前合并，减少 I/O

# 4. Reduce 阶段 #

*  合理设置 Map 和 Reduce 数：两个都不能设置太少，也不能设置太多。太少，会导致 Task 等待，延长处理时间；太多，会导致 Map、Reduce 任务间竞争资源，造成处理超时等错误
 *  设置 Map、Reduce 共存：调整 `mapreduce.job.reduce.slowstart.completedmaps`参数，使 Map 运行到一定程度后，Reduce 也开始运行，减少 Reduce 的等待时间
 *  规避使用 Reduce，因为 Reduce 在用于连接数据集的时候将会产生大量的网络消耗
 *  增加每个 Reduce 去 Map 中拿数据的并行数
 *  集群性能可以的前提下，增大 Reduce 端存储数据内存的大小

# 5. IO 传输 #

*  采用数据压缩的方式，减少网络 IO 的的时间。安装 Snappy 和 LZOP 压缩编码器
 *  使用 SequenceFile 二进制文件

# 6. 整体 #

*  MapTask 默认内存大小为 1G，可以增加 MapTask 内存大小为 4-5g，即`mapreduce.map.memory.mb`参数
 *  ReduceTask 默认内存大小为 1G，可以增加 ReduceTask 内存大小为 4-5g，即`mapreduce.reduce.memory.mb`参数
 *  可以增加 MapTask 的 cpu 核数，增加 ReduceTask 的 cpu 核数，即`mapreduce.map.cpu.vcores`和`mapreduce.reduce.cpu.vcores`参数
 *  增加每个 Container 的 cpu 核数和内存大小
 *  调整每个 Map Task 和 Reduce Task 最大重试次数，即`mapreduce.map.maxattempts`和`mapreduce.reduce.maxattempts`