hive中动态表和静态表区别

Myth丶恋晨 2022-04-10 11:15 206阅读 0赞

虽然之前已经用过很多次hive的分区表，但是还是找时间快速回顾总结一下加深理解.

举个栗子，基本需求就是Hive有一张非常详细的原子数据表original\_device\_open，而且还在不断随着时间增长，那么我需要给它进行分区，为什么要分区?因为我想缩小查询范围，提高速度和性能.

分区其实是物理上对hdfs不同目录进行数据的load操作，0.7之后的版本都会自动创建不存在的hdfs的目录，不同的目录对应不同的分区字段，当然会有一个处于最顶层的主分区字段.

我这里的分区字段主要是时间，分为年，月，日，时

首先建立一个新的分区表（这里我不在原始数据表直接操作)

CREATE TABLE device_open (
    deviceid varchar(50),
    ...
    )
    PARTITIONED BY (year varchar(50),month varchar(50),day varchar(50),hour varchar(50))
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

然后我要从原始表中select数据插入到新建的分区表中去，如下采用动态插入(…代表省略的字段)

![复制代码][Image 1]

set hive.exec.dynamic.partition=true;
    set hive.exec.dynamic.partition.mode=nonstrict;
    insert overwrite table device_open partition(year,month,day,hour)
    select
    ...,
    original_device_open.year as year,
    original_device_open.month as month,
    original_device_open.day as day,
    original_device_open.hour as hour
    FROM original_device_open

![复制代码][Image 1]

简单解释下

set hive.exec.dynamic.partition=true; 是开启动态分区

set hive.exec.dynamic.partition.mode=nonstrict; 这个属性默认值是strict,就是要求分区字段必须有一个是静态的分区值，随后会讲到，当前设置为nonstrict,那么可以全部动态分区

其他相关属性见下表

[![hivePartitionParams][]][hivePartitionParams 1]

注意代码中标红的部分，partition(year,month,day,hour) 就是要动态插入的分区.

代码执行后一直卡在map百分比90%处，然后重试了都失败，查看后发现如下日志

Fatal error occurred when node tried to create too many dynamic partitions.

[![hiveDynamic][]][hiveDynamic 1]

很明显的错误，太多动态分区了，因为 hive.exec.max.dynamic.partitions默认值是1000，而我这里的分区我确定肯定超过这个值了，那么修改如下

set hive.exec.dynamic.partition=true;
    set hive.exec.dynamic.partition.mode=nonstrict;
    SET hive.exec.max.dynamic.partitions=100000;
    SET hive.exec.max.dynamic.partitions.pernode=100000;

重新执行insert分区代码，插入成功.

当然，对于大批量数据的插入分区，动态分区相当方便，对于小批量的分区插入，比如想定时每天执行某个时间段的分区数据插入，那也很简单，如下代码

insert overwrite table device_open partition(year='2017',month='05',day,hour)
    select
    ...,
    original_device_open.day as day,
    original_device_open.hour as hour
    FROM original_device_open where original_device_open.year='2017' and original_device_open.month='05'

注意 partition(year='2017',month='05',day,hour)

我只需要指明需要静态分区的字段值就可以.剩下的字段就属于动态分区了,这里指将2017年5月份的数据插入分区表,对应底层的物理操作就是讲2017年5月份的数据load到

hdfs上对应2017年5月份下的所有day和hour目录中去.

分类: [Hive][]

标签: [Hive][Hive 1]

好文要顶 关注我 收藏该文 ![Image 1][] ![Image 1][]

[![Image 1][]][Image 1 1]

[Syn良子][Image 1 1]  
[关注 - 17][- 17]  
[粉丝 - 29][- 29]

\+加关注

[« ][Link 1] 上一篇： [Linux使用free命令查看实际内存占用][Link 1]  
[» ][Link 2] 下一篇： [HiveHbase集成实践][Link 2]

</div>

[Image 1]: 
[hivePartitionParams]: /images/20220331/13dde1f042924200ab341ce2cfe6b5c5.png
[hivePartitionParams 1]: http://images2015.cnblogs.com/blog/1050555/201705/1050555-20170509180106941-511200927.png
[hiveDynamic]: /images/20220331/2de96039550347a2921e787a2d4496a1.png
[hiveDynamic 1]: http://images2015.cnblogs.com/blog/1050555/201705/1050555-20170509180108301-1257164590.png
[Hive]: https://www.cnblogs.com/cssdongl/category/917718.html
[Hive 1]: https://www.cnblogs.com/cssdongl/tag/Hive/
[Image 1 1]: http://home.cnblogs.com/u/cssdongl/
[- 17]: http://home.cnblogs.com/u/cssdongl/followees
[- 29]: http://home.cnblogs.com/u/cssdongl/followers
[Link 1]: https://www.cnblogs.com/cssdongl/p/6806019.html
[Link 2]: https://www.cnblogs.com/cssdongl/p/6857891.html