Hive编程指南

我就是我 2021-09-25 12:00 411阅读 0赞

## 1、基础知识 ##

## 2、基础操作 ##

$HOME/.hiverc

历史命令在$HOME/.hivehistory

在hive CLI 中执行hadoop的dfs命令，只要将hadoop去掉，结尾加分号

## 3、数据类型和文件格式 ##

## 4、HiveQL：数据定义 ##

内部表、外部表、管理表、分区表

## 5、HiveQL：数据操作 ##

导入数据：

insert into

insert overwrite

create table as select

## 6、HiveQL：查询 ##

select ... from

数学运算、聚合函数、嵌套select、case  when  then

like、rlike支持正则表达式

group by、having

join：inner join、left outer join、outer join、right outer join、full outer join、left semi-join、笛卡尔积join

保证连续查询的表的大小从左到右依次增加。

order by、sort by只会在每个reducer中排序&是局部的、

distribute by控制map的输出在reducer中是如何划分的

cluster by：确保类似的数据可以分发到同一个reduce task中，而且保证数据是有序的。

类型转换case(value as type)

抽样查询

select \* from tab tablesample(bucket 3 out of 10 on rand()) s ;

数据块抽样

select \* from tab tablesample(0.1 percent) s;

union/union all

## 7、HiveQL：视图 ##

使用视图来降低查询复杂度

使用视图来限制基于条件过滤的数据

## 8、HiveQL：索引 ##

## 9、模式设计 ##

## 10、调优 ##

Explain 关键字

explain extended 输出信息更多

limit：

hive.limit.optimize.enable设置为true、hive.limit.row.max.size和hive.limit.optimize.limit.file

JOIN优化：最大的表放在join语句最右边

本地模式：适用于小数据集，设置hive.exec.mode.local.auto为true

并行执行：不依赖的stage可以并行执行，设置hive.exec.parallel为true

严格模式：设置hive.mapred.mode为strict，可以禁止3种查询：

1.  对于分区表，where语句必须含有分区字段过滤数据范围
2.  对于使用order by的语句必须使用limit
3.  限制笛卡尔积的查询

调整mapper和reducer个数：

1.  按照输入数据量大小调整reducer个数，set hive.exec.reducers.bytes.per.reducer=750000000 这是750MB，默认是1GB
2.  hive的默认reducer是3
3.  hive.exec.reducers.max，计算公式【集群总reduce槽位个数\*1.5/执行中的查询的平均个数】，1.5是经验系数

JVM重用：mapred.job.reuse.jvm.num.tasks  ，可以使得JVM实例在同一个job中重新使用N次

索引：可以加快含有group by语句的查询速度

动态分区调整：

推测执行：

单个mapreduce中多个group by：

虚拟列：

## 11、其他文件格式和压缩方法 ##

压缩可以最小化所需磁盘的存储空间，减少磁盘和网络的IO操作。

开启中间压缩可以减少job中map和reduce task间的数据传输量。

1.  hive.exec.compress.intermediate 默认是false，设置为true
2.  mapred.map.output.compression.codec 设置编解码器

最终输出结果压缩

1.   hive.exec.compress.output默认是false，设置为true
2.  mapred.output.compression.codec 设置编解码器