Hive参数调优

客官°小女子只卖身不卖艺 2023-03-14 08:04 7阅读 0赞

**1. Map相关参数**

set mapred.max.split.size = 256000000 ; //最大分割
    set mapred.min.split.size=1 ; //最小分割
    set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; //Map端输入、合并文件之后按照block的大小分割（默认）
    set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat; //Map端输入，不合并 一个文件起一个Map
    set hive.mapjoin.maxsize=1000000; //Map Join 所处理的最大的行数。超过此行数，Map Join进程会异常退出  
    set hive.merge.mapfiles = true ;//是否开启合并 Map 端输出小文件
    set hive.merge.mapredfiles = false ;//是否开启合并 Map/Reduce 端输出小文件

**2. Reduce参数配置**

set mapred.reduce.tasks=-1 ; //设置Reduce的个数，-1为默认，表示由hive自动分配管理

**3. 并行计算参数**

set hive.exec.parallel=true;  //无关的计算可以并行调起JOB  
    set hive.exec.parallel.thread.number=8 ; //并发提交时的并发线程的个数

**4. group by 相关**

set hive.groupby.skewindata=false ;//决定 group by 操作是否支持倾斜的数据。注意：只能对单个字段聚合

**5. 自动分区**

set hive.exec.dynamic.partition = false ; // 是否打开动态分区。 
    set hive.exec.dynamic.partition.mode = strict ;//打开动态分区后，动态分区的模式，有 strict 和 nonstrict 两个值可选，strict 要求至少包含一个静态分区列，nonstrict 则无此要求。 
    set hive.exec.max.dynamic.partitions = 1000; // 所允许的最大的动态分区的个数。 
    set hive.exec.max.dynamic.partitions.pernode = 100; //单个 reduce 结点所允许的最大的动态分区的个数。 
    set hive.exec.default.partition.name = '__HIVE_DEFAULT_PARTITION__';//默认的动态分区的名称，当动态分区列为''或者null时，使用此名称。''

**6. 笛卡尔积Join**

set hive.mapred.mode = strict ;//阻止笛卡尔积    
    set hive.mapred.mode = nostrict ;//允许笛卡尔积

**7. Map-Side Join**

set hive.auto.convert.join = true ; //将小表刷入内存中  
    set hive.mapjoin.smalltable.filesize = 2500000 ;//刷入内存表的大小(字节)  
    Map Join 的计算步骤分两步，将小表的数据变成hashtable广播到所有的map 端，将大表的数据进行合理的切分，然后在map 阶段的时候用大表的数据一行一行的去探测(probe) 小表的hashtable. 如果join key 相等，就写入HDFS.
    map join 之所以叫做map join 是因为它所有的工作都在map 端进行计算.
    
    hive 在map join 上做了几个优化：
    hive 0.6 的时候默认认为写在select 后面的是大表，前面的是小表， 或者使用 /*+mapjoin(map_table) */ 提示进行设定. 
    hive 0.7 的时候这个计算是自动化的，它首先会自动判断哪个是小表，哪个是大表，这个参数由（hive.auto.convert.join=true）来控制. 然后控制小表的大小由（hive.smalltable.filesize=25000000L）参数控制（默认是25M），当小表超过这个大小，hive 会默认转化成common join. 
    你可以查看HIVE-1642.首先小表的Map 阶段它会将自己转化成MapReduce Local Task ，然后从HDFS 取小表的所有数据，将自己转化成Hashtable file 并压缩打包放入DistributedCache 里面.
    目前hive 的map join 有几个限制，一个是它打算用BloomFilter 来实现hashtable , BloomFilter 大概比hashtable 省8-10倍的内存, 但是BloomFilter 的大小比较难控制.
    现在DistributedCache 里面hashtable默认的复制是3份，对于一个有1000个map 的大表来说，这个数字太小，大多数map 操作都等着DistributedCache 复制

**8. Skew Join**

真实数据中数据倾斜是一定的, hadoop 中默认是使用
    hive.exec.reducers.bytes.per.reducer = 1000000000
    
    也就是每个节点的reduce 默认是处理1G大小的数据，如果你的join 操作也产生了数据倾斜，那么你可以在hive 中设定
    set hive.optimize.skewjoin = true;
    set hive.skewjoin.key = skew_key_threshold （default = 100000）
    
    hive 在运行的时候没有办法判断哪个key 会产生多大的倾斜，所以使用这个参数控制倾斜的阈值，如果超过这个值，新的值会发送给那些还没有达到的reduce, 一般可以设置成你（处理的总记录数/reduce个数）的2-4倍都可以接受.  
    倾斜是经常会存在的，一般select 的层数超过2层，翻译成执行计划多于3个以上的mapreduce job 都很容易产生倾斜，建议每次运行比较复杂的sql 之前都可以设一下这个参数. 如果你不知道设置多少，可以就按官方默认的1个reduce 只处理1G 的算法，那么  skew_key_threshold  = 1G/平均行长. 或者默认直接设成250000000 (差不多算平均行长4个字节)