开发中hive常见的调优策略

小咪咪 2022-05-29 07:12 186阅读 0赞

**优化一：开启本地模式**

大多数的Hadoop Job是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过，有时Hive的输入数据量是非常小的。在这种情况下，为查询触发执行任务消耗的时间可能会比实际job的执行时间要多的多。对于大多数这种情况，Hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间可以明显被缩短。

**如果是单次任务开启本地模式的话，那么可以直接在命令行里执行下面set语句，然后再执行hql语句。如果当前用户想将自己的任务启动本地模式，则可以将下面的配置写到$HOME/.hiverc文件里（因为每次hive启动都会去加载执行.hiverc里的命令。）如果希望所有的用户都使用这个配置，那么将下面的配置直接写到hive-site.xml文件里即可。**

<table> 
 <tbody> 
 <tr> 
 <td>set hive.exec.mode.local.auto=true;&nbsp; //开启本地mr，默认是关闭false。 set hive.exec.mode.local.auto.inputbytes.max=50000000; //设置local mr的最大输入数据量，当输入数据量小于这个值时采用local&nbsp; mr的方式，默认为134217728，即128M。现在设置其值为50000000，不必为128Mb的整数倍 set hive.exec.mode.local.auto.input.files.max=10; //设置local mr的最大输入文件个数，当输入文件个数小于这个值时采用local mr的方式，默认为4</td> 
 </tr> 
 </tbody> 
</table>

**优化二：开启严格模式**

Hive提供了一个严格模式，可以防止用户执行那些可能意向不到的不好的影响的查询。

通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。

<table> 
 <tbody> 
 <tr> 
 <td>&lt;property&gt; &nbsp;&nbsp;&nbsp; &lt;name&gt;hive.mapred.mode&lt;/name&gt; &nbsp;&nbsp;&nbsp; &lt;value&gt;strict&lt;/value&gt; &nbsp;&nbsp;&nbsp; &lt;description&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; The mode in which the Hive operations are being performed. &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; In strict mode, some risky queries are not allowed to run. They include: &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Cartesian Product. &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; No partition being picked up for a query. &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Comparing bigints and strings. &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Comparing bigints and doubles. &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Orderby without limit. &nbsp;&nbsp;&nbsp; &lt;/description&gt; &nbsp; &lt;/property&gt;</td> 
 </tr> 
 </tbody> 
</table>

1）对于分区表，除非where语句中含有分区字段过滤条件来限制范围，否则不允许执行。换句话说，就是用户不允许扫描所有分区。进行这个限制的原因是，通常分区表都拥有非常大的数据集，而且数据增加迅速。没有进行分区限制的查询可能会消耗令人不可接受的巨大资源来处理这个表。

2）对于使用了order by语句的查询，要求必须使用limit语句。因为order by为了执行排序过程会将所有的结果数据分发到同一个Reducer中进行处理，强制要求用户增加这个LIMIT语句可以防止Reducer额外执行很长一段时间。

3）限制笛卡尔积的查询。对关系型数据库非常了解的用户可能期望在执行JOIN查询的时候不使用ON语句而是使用where语句，这样关系数据库的执行优化器就可以高效地将WHERE语句转化成那个ON语句。不幸的是，Hive并不会执行这种优化，因此，如果表足够大，那么这个查询就会出现不可控的情况

**优化三：Fetch抓取**

Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT \* FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。

在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查找等都不走mapreduce。

<table> 
 <tbody> 
 <tr> 
 <td>&lt;property&gt; &nbsp;&nbsp;&nbsp; &lt;name&gt;hive.fetch.task.conversion&lt;/name&gt; &nbsp;&nbsp;&nbsp; &lt;value&gt;more&lt;/value&gt; &nbsp;&nbsp;&nbsp; &lt;description&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Expects one of [none, minimal, more]. &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Some select queries can be converted to single FETCH task minimizing latency. &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Currently the query should be single sourced not having any subquery and should not have &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; any aggregations or distincts (which incurs RS), lateral views and joins. &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0. none : disable hive.fetch.task.conversion &nbsp;&nbsp;&nbsp;&nbsp; &nbsp;1. minimal : SELECT STAR, FILTER on partition columns, LIMIT only &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2. more&nbsp; : SELECT, FILTER, LIMIT only (support TABLESAMPLE and virtual columns) &nbsp;&nbsp;&nbsp; &lt;/description&gt; &nbsp; &lt;/property&gt;</td> 
 </tr> 
 </tbody> 
</table>

实操 1：把hive.fetch.task.conversion设置成more，然后执行查询语句，都会执行mapreduce程序。

hive (fdm\_sor)>set hive.fetch.task.conversion=more;

hive (fdm\_sor)>select \* from SOR\_EVT\_TB\_REPAY\_PLAN\_HIS;

hive (fdm\_sor)>select name,account  from SOR\_EVT\_TB\_REPAY\_PLAN\_HIS;

hive (fdm\_sor)>select name,account  from SOR\_EVT\_TB\_REPAY\_PLAN\_HISlimit 3;

**优化四：开启并行执行**

Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的job可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并行执行的，这样可能使得整个job的执行时间缩短。不过，如果有更多的阶段可以并行执行，那么job可能就越快完成。

通过设置参数hive.exec.parallel值为true，就可以开启并发执行。不过，在共享集群中，需要注意下，如果job中并行阶段增多，那么集群利用率就会增加。

<table> 
 <tbody> 
 <tr> 
 <td>set hive.exec.parallel=true;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; //打开任务并行执行 set hive.exec.parallel.thread.number=16;&nbsp; //同一个sql允许最大并行度，默认为8。</td> 
 </tr> 
 </tbody> 
</table>

当然，得是在系统资源比较空闲的时候才有优势，否则，没资源，并行也起不来。

**优化五：行列过滤，代码优化**

列处理：在SELECT中，只拿需要的列，如果有，尽量使用分区过滤，少用SELECT \*

行处理：在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤，这样效率低，可以直接子查询后再关联。**(这个非常有用，实际开发中大数据处理效率会高很多，善用子查询关联)**

**案例实操：**

（1）测试先关联两张表，再用where条件过滤

hive (default)> select o.id from bigtable b

join ori o on o.id = b.id

where o.id <= 10;

Timetaken: 34.406 seconds, Fetched: 100 row(s)

（2）通过子查询后，再关联表

hive (default)> select b.id from bigtable b

join (select id from ori where id <= 10 ) o on b.id =o.id;

Timetaken: 30.058 seconds, Fetched: 100 row(s)

**但是这种对左外关联和右外关联有时候就不一定适用了。尤其表中有null值的时候就不适合使用了，使用时要注意。**

下面将where的子句分别写到where中和写到子查询里的区别。
    select  b.due_bill_no
    from  
    (
    select distinct due_bill_no  from FDM_DM.DM_PLSADM_FEEDBACK_LOAN_RECOVERY_INFO_M where statis_date = '20180228'
    ) b  
    left  join 
    (select distinct loan_no from FDM_DM.tmp_dmp_plsadm_tradeinfo_m_report where statis_date ='20180228') a
    on   b.due_bill_no  =a.loan_no 
    where  a.loan_no  is  null
    上面将条件写到where子句，查询的是在b表中存在的due_bill_no，且其在a表中不存在。
    ----------------------------------------------------------------------
    select  b.due_bill_no
    from  
    (
    select distinct due_bill_no  from FDM_DM.DM_PLSADM_FEEDBACK_LOAN_RECOVERY_INFO_M where statis_date = '20180228'
    ) b  
    left  join 
    (select distinct loan_no from FDM_DM.tmp_dmp_plsadm_tradeinfo_m_report where statis_date ='20180228' and  loan_no  is  null) a
    on   b.due_bill_no  =a.loan_no
    上面将条件写到join的子查询语句里，得到的结果是b表中所有的due_bill_no结果。

**优化六：开启JVM重用**

JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短。

Hadoop的默认配置通常是使用派生JVM来执行map和Reduce任务的。这时JVM的启动过程可能会造成相当大的开销，尤其是执行的job包含有成百上千task任务的情况。JVM重用可以使得JVM实例在同一个job中重新使用N次。N的值可以在Hadoop的mapred-site.xml文件中进行配置。通常在10-20之间，具体多少需要根据具体业务场景测试得出。

<table> 
 <tbody> 
 <tr> 
 <td>&lt;property&gt; &nbsp; &lt;name&gt;mapreduce.job.jvm.numtasks&lt;/name&gt; &nbsp; &lt;value&gt;10&lt;/value&gt; &nbsp; &lt;description&gt;How many tasks to run per jvm. If set to -1, there is &nbsp; no limit. &nbsp; &lt;/description&gt; &lt;/property&gt;</td> 
 </tr> 
 </tbody> 
</table>

这个功能的缺点是，开启JVM重用将一直占用使用到的task插槽，以便进行重用，直到任务完成后才能释放。如果某个“不平衡的”job中有某几个reduce task执行的时间要比其他Reduce task消耗的时间多的多的话，那么保留的插槽就会一直空闲着却无法被其他的job使用，直到所有的task都结束了才会释放。

**优化七：小文件进行合并**

在map执行前合并小文件，减少map数：CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式）。HiveInputFormat没有对小文件合并功能。

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;