Hive性能优化【严格模式、join优化、Map-Side聚合、JVM重用】

偏执的太偏执、 2024-04-20 09:37 13阅读 0赞

### 一.严格模式 ###

通过设置以下参数开启严格模式：

>set hive.mapred.mode=strict;【默认为nonstrict非严格模式】

查询限制：

1.对于分区表，必须添加where查询条件来对分区字段进行条件过滤。

2.order by语句必须包含limit输出限制。

3.限制执行笛卡尔积的查询。

### 二.Hive排序 ###

1.order by:对于查询结果做全排序只允许有一个reduce处理，当数据量较大时，应慎用。严格模式下必须结合limit来使用。

2.sort by:对于单个reduce的数据进行排序。

3.distribute by:分区排序，经常和sort by结合使用。

4.cluster by:相当于sort by + distribute by【cluster by不能通过asc,desc的方法指定排序规则，可通过distribute by column sort by column asc|desc的方式】

### 三.Hive Join ###

1.join计算时，将小表放在join的左边。

2.map join,在Map端完成join，实现方式：

2.1sql方式，在sql语句中添加mapjoin标记【mapjoin hint】

语法：select /\*+MAPJOIN(smallTable) \*/ smallTable.key,bigTable.value from smallTable JOIN btTable ON smallTable.key = bigTable.key;

2.2开启自动mapjoin，通过设置一下配置启动自动的mapjoin

set hive.auto.convert.join = true;【该参数为ture时，Hive自动对左边的表统计量，如果是小表就加入内存，即对小表用mapjoin】

相关参数配置：

>hive.mapjoin.smalltable.filesize;【大小表判断阈值，表的大小小于该值则为小表，加载到内存中】

>hive.ignore.mapjoin.hint;【默认值为true，是否忽略mapjoin hint即mapjoin标记】

>hive.auto.convert.join.noconditionaltask;【默认值为true，将普通的join转化为普通的mapjoin时，是否将多个mapjoin转化为一个mapjoin】

>hive.auto.convert.join.noconditionaltask.size;【将多个mapjoin转化为一个mapjoin时，列表的最大值】

###  四.Map-Side聚合 ###

通过设置以下参数开启在map端的聚合：set hive.map.aggr=true;

相关参数配置：

>hive.groupby.mapaggr.checkinterval:map端group by执行聚合时处理的数据条数【默认100000】

>hive.map.aggr.hash.min.reduction:进行聚合的最小比例【预先对100000条数据做聚合，若聚合之后的数据量/100000的值大于该配置【默认0.5】则不聚合】

>hive.map.aggr.hash.percentmemeory:map端聚合使用的内存的最大值

>hive.map.aggr.hash.force.flush.memory.threshold:map端做聚合操作时hash表的最大可以容量，大于该值则会触发flush

>hive.groupby.skewindata:是否对groupby产生的数据倾斜做优化，默认为false

###  五.控制hive中map和reduce的数量 ###

map数量相关参数：

>mapred.max.split.size：一个split的最大值，即每个map处理文件的最大值

>maprd.min.split.size.per.node：一个节点上split的最小值

>mapred.min.split.size.per.rack：一个机架上split的最小值

reduce数量相关参数：

>mapred.reduce.tasks：强制指定reduce任务的数量

>hive.exec.reducers.bytes.per.reducer：每个reduce任务处理的数据量

>hive.exec.reducers.max：每个任务最大的reduce数

### 六.JVM重用 ###

适用场景：

1.小文件个数过多

2.task个数过多

通过执行：set mapred.job.reuse.jvm.num.tasks=n;来设置task插槽个数

缺点：

设置开启后，task插槽会一直占用资源，不论是否有task，直到所有的task即整个job执行完成后才会释放所有的task插槽资源！

转载于:https://www.cnblogs.com/yszd/p/11124459.html

发表评论取消回复

表情：

评论列表（有 0 条评论，13人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive性能优化【严格模式、join优化、Map-Side聚合、JVM重用】

一.严格模式　　通过设置以下参数开启严格模式：　　>set hive.mapred.mode=strict;【默认为nonstrict非严格模式】　　查询限...

偏执的太偏执、/ 2024年04月20日 09:37/ 0 赞/ 14 阅读

相关 Hive 严格模式

Hive严格模式严格模式阻挡5类查询： 1、笛卡尔积 set hive.mapred.mode=strict; select * ...

末蓝、/ 2024年04月18日 16:51/ 0 赞/ 30 阅读

相关 Hive-企业级调优-(本地模式/JVM重用/严格模式/并行模式)

企业级调优详细讲解执行计划(Explain) Fetch 抓取本地模式 JVM重用严格模式并行模式执行计划(Explai

深碍√TFBOYSˉ_/ 2022年09月16日 12:23/ 0 赞/ 176 阅读

相关性能优化模式

摘要性能优化涉及面很广。一般而言，性能优化指降低响应时间和提高系统吞吐量两个方面，但在流量高峰时候，性能问题往往会表现为服务可用性下降，所以性能优化也可以包括提高服务可

梦里梦外;/ 2022年08月21日 11:54/ 0 赞/ 150 阅读

相关【性能优化】Hive优化

1.概述　　继续《[那些年使用Hive踩过的坑][Hive]》一文中的剩余部分，本篇博客赘述了在工作中总结[Hive][Hive 1]的常用优化手段和在工作中使用Hiv

川长思鸟来/ 2022年06月18日 05:14/ 0 赞/ 376 阅读

相关 Hive严格模式

Hive严格模式 Hive提供了一个严格模式，可以防止用户执行那些可能产生意向不到的不好的效果的查询。说通俗一点就是这种模式可以阻止某些查询的执行。通过如下语句设置严格模式：

本是古典何须时尚/ 2022年06月07日 03:09/ 0 赞/ 166 阅读

相关 JVM之性能优化

![3d11dfb9-18ca-32f6-8e45-48522c670e92.jpeg][] 一、JVM内存模型及垃圾收集算法 1.根据Java虚拟

深藏阁楼爱情的钟/ 2022年05月24日 13:42/ 0 赞/ 249 阅读

相关 Hive性能优化（全面）

Hive性能优化（全面）原文地址：[https://blog.csdn.net/qq\_36421826/article/details/82112373\com

古城微笑少年丶/ 2022年04月22日 04:10/ 0 赞/ 276 阅读

相关 Hive严格模式

严格模式是什么：防止可能出现不好的结果 > 防止出现三种场景： > > 1. 分区表查询中没有写where分区过滤条件 > 2. orderby 中没有写lim

喜欢ヅ旅行/ 2022年03月17日 09:05/ 0 赞/ 196 阅读

相关 Hive性能优化秘籍

1. Fetch抓取 Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如：SELECT \ FROM employees; 在

- 日理万妓/ 2022年01月31日 05:25/ 0 赞/ 265 阅读