数据倾斜以及本地模式的介绍

淡淡的烟草味﹌ 2022-05-16 02:05 118阅读 0赞

# 一：数据倾斜 #

Map数  
1）通常情况下，作业会通过input的目录产生一个或者多个map任务。  
主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小。  
2）是不是map数越多越好？  
答案是否定的。如果一个任务有很多小文件（远远小于块大小128m），则每个小文件也会被当做一个块，  
用一个map任务来完成，而一个map任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。  
而且，同时可执行的map数是受限的。  
3）是不是保证每个map处理接近128m的文件块，就高枕无忧了？  
答案也是不一定。比如有一个127m的文件，正常会用一个map去完成，但这个文件只有一个或者两个小字段，  
却有几千万的记录，如果map处理的逻辑比较复杂，用一个map任务去做，肯定也比较耗时。  
针对上面的问题2和3，我们需要采取两种方式来解决：即减少map数和增加map数；  
小文件进行合并  
在map执行前合并小文件，减少map数：CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式）。  
HiveInputFormat没有对小文件合并功能。  
set hive.input.format= org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;  
复杂文件增加Map数  
当input的文件都很大，任务逻辑复杂，map执行非常慢的时候，可以考虑增加Map数  
，来使得每个map处理的数据量减少，从而提高任务的执行效率。  
增加map的方法为：根据computeSliteSize(Math.max(minSize,Math.min(maxSize,blocksize)))=blocksize=128M公式，  
调整maxSize最大值。让maxSize最大值低于blocksize就可以增加map的个数。  
案例实操：  
（1）执行查询  
hive (default)> select count(\*) from emp;  
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1  
（2）设置最大切片值为100个字节  
hive (default)> set mapreduce.input.fileinputformat.split.maxsize=100;  
hive (default)> select count(\*) from emp;  
Hadoop job information for Stage-1: number of mappers: 6; number of reducers: 1

Reduce数  
1）调整reduce个数方法一  
（1）每个Reduce处理的数据量默认是256MB  
hive.exec.reducers.bytes.per.reducer=256000000  
（2）每个任务最大的reduce数，默认为1009  
hive.exec.reducers.max=1009  
（3）计算reducer数的公式  
N=min(参数2，总输入数据量/参数1)  
2）调整reduce个数方法二  
在hadoop的mapred-default.xml文件中修改  
设置每个job的Reduce个数n  
set mapreduce.job.reduces = 15;  
3）reduce个数并不是越多越好  
1）过多的启动和初始化reduce也会消耗时间和资源；  
2）另外，有多少个reduce，就会有多少个输出文件，如果生成了很多个小文件，  
那么如果这些小文件作为下一个任务的输入，则也会出现小文件过多的问题；  
在设置reduce个数的时候也需要考虑这两个原则：  
处理大数据量利用合适的reduce数；使单个reduce任务处理数据量大小要合适；

# 二：本地模式 #

1)理论分析  
大多数的HadoopJob是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过，有时Hive的输入数据量是非常小的。在这种情况下，为查询触发执行任务时消耗可能会比实际job的执行时间要多的多。对于大多数这种情况，Hive可以通过本地模式在单台机器\_上处理所有的任务。  
对于小数据集，执行时间可以明显被缩短。用户可以通过设置hive . exec . mode . local . auto的值为true,来让Hive在适当的时候自动启动这个优化。  
set hive.exec.mode.local.auto=true; / /开启本地mr  
//设置local mr的最大输入数据量，当输入数据量小于这个值时采用local mr的方式，默认为134217728，即128M  
set hive.exec.mode.local.auto.inputbytes.max= 50000000;  
//设置local mr的最大输入文件个数，当输入文件个数小于这个值时采用local mr的方式，默认为4  
set hive.exec.mode.local.auto.input.files.max=10;  
2)  
案例实操:  
(1)开启本地模式，并执行查询语句  
hive (default)> set hive.exec.mode.local.auto=true;  
hive (default)> select \* from emp cluster by deptno;  
Time taken: 1.328 seconds, Fetched: 14 row(s)  
(2)关闭本地模式，并执行查询语句  
hive (default)> set hive.exec.mode.local.auto=false;  
hive (default)> select \* from emp cluster by deptno;  
Time taken: 20.09 seconds, Fetched: 14 row(s)