hive性能调优（亲测有效）

╰+攻爆jí腚メ 2023-01-19 13:59 46阅读 0赞

今天总结一下有关hive的性能调优，一下测试在本地环境，单节点模式（非高可用）进行测试，影响因素也可能和个人电脑配置有关，但是经过一系列配置，性能还是提升了不少。
    	关于hive调优，首先要对hive运行原理有了解。通晓原理，从根本进行调优。
    	hive的基本运行原理：HQL——> Job——> Map/Reduce。
    	通过以上基本原理，我们可以从以下三个方面进行调优，HQL语句调优，job任务调优，map/reduce阶段调优。重点说一下job和map/reduce优化。

1 JOB优化：

1.1 并行化执行
      每个查询被Hive转化为多个阶段，有些阶段关联性不大，则可以并行化执行，减少执行时间
    set hive.exec.parallel=true;
    set hive.exec.parallel.thread.number=8;
    1.2 本地化执行
    set hive.exec.mode.local.auto=true;
    当一个join满足如下条件才能真正使用本地模式：
    Job的输入数据大小必须小于参数
    hive.exec.mode.local.auto.inputbytes.max(默认128MB)
    Job的map数必须小于参数
    hive.exec.mode.local.auto.tasks.max(默认4)
    Job的reduce数必须为0或者1
    
    1.3 job合并输入小文件 
    因为hive其实底层执行的是mapreduce程序，所以减少输入小文件可以提升性能。
    set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
    
    1.4 job合并输出小文件 
    有点像map阶段完成后，向reduce阶段输入时使用combine，从而合并小文件向reduce输入
    set hive.merge.smallfiles.avgsize=256000000;当输出文件平均大小小于该值，启动新job合并文件
    set hive.merge.size.per.task=64000000;合并之后的文件大小

2 hive Map端优化

2.1 map聚合
    set hive.map.aggr=true;（效果显著）
    2.2 推测执行
    mapred.map.tasks.speculative.execution
    2.3 Map端的shuffle优化
    io.sort.mb
    io.sort.spill.percent
    min.num.spill.for.combine
    io.sort.factor
    io.sort.record.percent
    2.4 reduce端的shuffle优化。
    
    mapred.reduce.parallel.copies
    mapred.reduce.copy.backoff
    io.sort.factor
    mapred.job.shuffle.input.buffer.percent
    mapred.job.reduce.input.buffer.percent

当然，还有其他优化方式，例如Fetch抓取  
1）理论分析  
Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT \* FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。  
在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查找等都不走mapreduce。  
可以在配置文件中进行配置，也可以进行set设置

（1）把hive.fetch.task.conversion设置成none，然后执行查询语句，都会执行mapreduce程序。
    hive (default)> set hive.fetch.task.conversion=none;
    hive (default)> select * from emp;
    hive (default)> select ename from emp;
    hive (default)> select ename from emp limit 3;
    	（2）把hive.fetch.task.conversion设置成more，然后执行查询语句，如下查询方式都不会执行mapreduce程序。
    hive (default)> set hive.fetch.task.conversion=more;
    hive (default)> select * from emp;
    hive (default)> select ename from emp;
    hive (default)> select ename from emp limit 3;

以下附上两张图（调优前后对比）  
调优前：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70]  
调优后：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70 1]  
下一节讲hql调优以及表的优化。  
参考博客：  
https://binghe.blog.csdn.net/article/details/80629279

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70]: /images/20221021/e3c47cf2622548c183131f64f44c2880.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70 1]: /images/20221021/db08f3aaef3b483e8e5d5a807957a59d.png