hive参数调优

蔚落 2022-10-16 08:44 181阅读 0赞

**合理设置参数，让集群飞起来~**

<table> 
 <tbody> 
  <tr> 
   <td>　</td> 
   <td>参数</td> 
   <td>缺省值</td> 
   <td>描述</td> 
  </tr> 
  <tr> 
   <td>可单独使用</td> 
   <td>set hive.execution.engine=tez;</td> 
   <td>　</td> 
   <td>设置hive的计算引擎</td> 
  </tr> 
  <tr> 
   <td>可单独使用</td> 
   <td>set mapreduce.map.memory.mb=4096;</td> 
   <td>　</td> 
   <td>设置每个map的内存</td> 
  </tr> 
  <tr> 
   <td>可单独使用</td> 
   <td>set mapreduce.reduce.memory.mb=4096;</td> 
   <td>　</td> 
   <td>设置每个reduce的内存</td> 
  </tr> 
  <tr> 
   <td>可单独使用</td> 
   <td>set mapreduce.map.java.opts=-Xmx13106M;</td> 
   <td>　</td> 
   <td>这个 Java 程序可以使用的最大堆内存数，一定要小于mapreduce.map.memory.mb</td> 
  </tr> 
  <tr> 
   <td>可单独使用</td> 
   <td>mapreduce.reduce.java.opts</td> 
   <td>　</td> 
   <td>可以使用的最大堆内存数，一定要小于mapreduce.reduce.memory.mb</td> 
  </tr> 
  <tr> 
   <td>可单独使用</td> 
   <td>set hive.cli.print.header=true;</td> 
   <td>　</td> 
   <td>辅助设置-打印表头</td> 
  </tr> 
  <tr> 
   <td>可单独使用</td> 
   <td>set hive.cli.print.current.db=true;</td> 
   <td>　</td> 
   <td>辅助设置-显示当前数据库</td> 
  </tr> 
  <tr> 
   <td>可单独使用</td> 
   <td>set hive.exec.parallel=true;</td> 
   <td>　</td> 
   <td>开启任务并行执行</td> 
  </tr> 
  <tr> 
   <td>可单独使用</td> 
   <td>set hive.exec.parallel.thread.number=8;</td> 
   <td>　</td> 
   <td>同一个sql允许并行任务的最大线程数</td> 
  </tr> 
  <tr> 
   <td>联合使用</td> 
   <td>set hive.exec.dynamic.partition=true;</td> 
   <td>FALSE</td> 
   <td>设置成true, 表示开启动态分区功能</td> 
  </tr> 
  <tr> 
   <td>set hive.exec.dynamic.partition.mode=nonstrict;</td> 
   <td>strict</td> 
   <td>设置成nonstrict, 表示允许所有分区都是动态的</td> 
  </tr> 
  <tr> 
   <td>set hive.exec.max.dynamic.partitions.pernode=1000;</td> 
   <td>100</td> 
   <td>每个mapper或reducer可以创建的最大动态分区个数．如果某个mapper或reducer尝试创建大于这个值的分区的话则会知出一个致命错误</td> 
  </tr> 
  <tr> 
   <td>set hive.exec.max.dynamic.partitions=1000;</td> 
   <td>1000</td> 
   <td>一个动态分区创建语句可以创建的虽大动态分区个数，如果超过这个佳则会抛出—个致命错误</td> 
  </tr> 
  <tr> 
   <td>hive.exec.max.created.files</td> 
   <td>100000</td> 
   <td>全局可以创建的最大文件个数．有一个Hadoop计数器会跟踪记录创速了多少个文件</td> 
  </tr> 
  <tr> 
   <td>可单独使用</td> 
   <td>set mapred.reduce.tasks=100;</td> 
   <td>　</td> 
   <td>设置reduce数量， mapper数量:reduce数量 = 10:1</td> 
  </tr> 
  <tr> 
   <td>可单独使用</td> 
   <td>set hive.exec.reducers.bytes.per.reducer=500000000; （500M）</td> 
   <td>　</td> 
   <td>设置每个reduce处理数据量，默认1G</td> 
  </tr> 
  <tr> 
   <td>联合使用</td> 
   <td>set mapred.max.split.size=256000000;</td> 
   <td>　</td> 
   <td>每个Map最大输入大小，间接设置map个数，默认256M就比较好。</td> 
  </tr> 
  <tr> 
   <td>set mapred.min.split.size=100000000;</td> 
   <td>　</td> 
   <td>每个Map最小输入大小</td> 
  </tr> 
  <tr> 
   <td>set mapred.min.split.size.per.node=100000000;</td> 
   <td>　</td> 
   <td>一个节点上split的至少的大小</td> 
  </tr> 
  <tr> 
   <td>set mapred.min.split.size.per.rack=100000000;</td> 
   <td>　</td> 
   <td>一个交换机下split的至少的大小</td> 
  </tr> 
  <tr> 
   <td> <p>set hive.input.format=</p> <p>org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;</p> </td> 
   <td>　</td> 
   <td>执行Map前进行小文件合并，前面参数确定合并文件块的大小</td> 
  </tr> 
  <tr> 
   <td>可单独使用</td> 
   <td>set hive.merge.mapfiles=true;</td> 
   <td>　</td> 
   <td>在Map-only的任务结束时合并小文件</td> 
  </tr> 
  <tr> 
   <td>可单独使用</td> 
   <td>set hive.merge.mapredfiles = true;</td> 
   <td>　</td> 
   <td>在Map-Reduce的任务结束时合并小文件</td> 
  </tr> 
  <tr> 
   <td>可单独使用</td> 
   <td>set mapreduce.job.reduce.slowstart.completedmaps=0.9</td> 
   <td>0.8</td> 
   <td>reduce任务从map完成80%后开始执行<br> 集群默认0.8，大部分比较小的job都是适合的，对于map比较重的大job，这个值可以适当调大，比如0.9</td> 
  </tr> 
  <tr> 
   <td>可单独使用</td> 
   <td>set hive.exec.reducers.bytes.per.reducer=500000000;</td> 
   <td>1000000000</td> 
   <td>每个reduce处理的数据量，间接设置reduce的个数</td> 
  </tr> 
  <tr> 
   <td>可单独使用</td> 
   <td>set hive.exec.reducers.max=999；</td> 
   <td>　</td> 
   <td>设置最大reduce的个数</td> 
  </tr> 
  <tr> 
   <td>可单独使用</td> 
   <td>set mapred.reduce.tasks=10；</td> 
   <td>　</td> 
   <td> <p>直接设置reduce的个数，reduce个数并不是越多越好！Order by时只有一个reduce</p> </td> 
  </tr> 
 </tbody> 
</table>

**如果你懒得看上文，推荐一套参数设置**：  
set hive.execution.engine=tez;  
set mapreduce.map.memory.mb=8192;  
set mapreduce.reduce.memory.mb=8192;  
set hive.exec.reducers.max=999;  
set hive.exec.reducers.bytes.per.reducer=500000000;

**开动态分区时设置**：  
set hive.exec.dynamic.partition=true;  
set hive.exec.dynamic.partition.mode=nonstrict;  
set hive.exec.max.dynamic.partitions.pernode=1000;  
set hive.exec.max.dynamic.partitions=1000;

**【小编废话】**

在日常开发中，还需要结合集群的实际情况，任务的差异性，结合任务日志，针对性的调整参数，两个原则：

原则1：当资源紧张时，重要任务优先（需结合调度时间优化）。

原则2：在保证原则1的前提下，提升整个集群的效率。当时效要求高时，尽量压缩总体运行时间；当稳定性要求更高时，错峰执行，负载均衡。

**参数调优核心总结为两个字：平衡。**

1、时效和稳定性的平衡；

2、资源的平衡，在某一时间点，集群的内存、io、cpu等负载均衡。