hive开发中对分区表的各种操作详解

叁歲伎倆 2022-05-30 07:50 218阅读 0赞

### **    hive开发中，在存储数据时，为了更快地查询数据和更好地管理数据，都会对hive表中数据进行分区存储。所谓的分区，在hive表中体现的是多了一个字段。而在底层文件存储系统中，比如HDFS上，分区则是一个文件夹，或者说是一个文件目录，不同的分区，就是数据存放在根目录下的不同子目录里。** ###

## **1.查看表的分区以及分区结构** ##

表的分区字段一般都是在建表的时候就已经设置好了。当然给表删除和增加分区前首先要知道表中分区有哪些，有没有分区，分区的字段有哪些？可以使用如下命令来查看表中的所有分区。

hive (fdm_sor)> show partitions t_fin_demo;
    OK
    partition
    statis_date=201901
    statis_date=201902
    Time taken: 0.086 seconds, Fetched: 2 row(s)

**说明：如果表里没有添加数据的话，是不会显示具体分区字段名的，要想知道表中具体分区字段名，可用describe formatted table\_name****此外，show partitions FDM\_SOR.mytest\_deptaddr partition(statis\_date='20180303')，可以查看指定分区 **

## **2.给表增加删除分区  ** ##

**语法结构（\[\]括号内属于可选的配置）**  
ALTER TABLE table\_name ADD \[IF NOT EXISTS\] partition\_spec \[ LOCATION 'location1' \] partition\_spec \[ LOCATION 'location2' \] ...  
partition\_spec:  
: PARTITION (partition\_col = partition\_col\_value, partition\_col = partiton\_col\_value, ...)  
ALTER TABLE table\_nameDROPpartition\_spec, partition\_spec,...

**具体实例演示：给表增加分区**

hive (fdm_sor)> alter table mytest_tmp add partition(statis_date='20180304');
    OK

**1.给表增加或者删除分区，前提创建表时已经定义了分区字段statis\_date.否则增加不了分区。同理在建表时定义分区字段，才可以drop分区，否则会报错。**

**2.如果给外部表（external table)增加分区时，要制定location。即存储位置。**

**  alter table abc add partiton(year='2018',moth='03') location 'hdfs://user/data/2018/03'**

hive (fdm_sor)> show partitions mytest_tmp;
    OK
    partition
    statis_date=20180304

**在给表删除分区时，要注意，如果删除一个不存在的分区，并不会报错，如下删除一个不存在的分区。同样如果是内部表的话，删除分区会把对应分区的数据也删除。但如果是外部表的话，删除分区只是删除元数据，不会删除分区内的数据。**

hive (fdm_sor)> alter table mytest_tmp drop  partition(statis_date='2018030005');
    OK

## **3.创建表时给表添加分区字段** ##

CREATE  TABLE `FDM_SOR.mytest_deptaddr`(  
          `dept_no` int,   
          `addr` string,   
          `tel` string)
     partitioned by(statis_date string,location string  ) 
     ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

上面建表时，给表增加了分区，而且分区字段是两个字段。在hdfs上面的表现就是statis\_date文件夹下还有一个子文件夹location.多个分区字段，相当于多层文件目录。

## 4.分区表设置防止删除和被查询的保护 ##

hive中可以给分区表提供防止删除和被查询的保护措施，主要用于一些特殊敏感信息表

1.设置分区禁止删除
    alter table t_fin_demo
    partition(statis_date ='201902') ENABLE NO_DROP;
    
    测试结果如下：删除失败
    
    hive (fdm_sor)>alter table t_fin_demo
                  > partition(statis_date ='201902') ENABLE NO_DROP;
    OK
    Time taken: 0.267 seconds
    hive (fdm_sor)> alter table t_fin_demo drop partition(statis_date ='201902')
                  > ;
    FAILED: SemanticException [Error 30011]: Partition protected from being dropped fdm_sor@t_fin_demo@statis_date=201902
    hive (fdm_sor)> 
    
    2.设置分区数据禁止被查询
    alter table t_fin_demo
    parition(statis_date ='201902') enable offline
    
    测试结果如下：
    hive (fdm_sor)> alter table t_fin_demo                        
                  > partition(statis_date ='201903') enable offline
                  > ;
    OK
    Time taken: 0.185 seconds
    hive (fdm_sor)>  select * from t_fin_demo where statis_date ='201903' limit 5;
    FAILED: SemanticException [Error 10113]: Query against an offline table or partition Table t_fin_demo Partition statis_date=201903
    
    
    3.注意：如果想取消上述设置，只需要把语句中enable换成disable重新执行下alter语句即可。

## **5.关于分区的表操作的注意事项** ##

**  1. 一般来说，查询分区表时，一定会在where子句中加上分区条件，指明查看哪个分区的数据。否则会报错。因为默认set hive.mapred.mode=strict.即严格模式。如果set hive.mapred.mode=nostrict.可以查询分区表时不带分区声明，这个时候会返回整张表的所有数据，即整张表各个分区的数据都会显示出来。这种实际很少使用，因为效率低。**

**  2.往分区表中load数据或者导出数据时，要指定分区。当然也可以使用动态分区，具体参考后续博客。**

load data local inpath'/home/robot/111.txt'
    
     overwrite into table  FDM_SOR.mytest_deptaddr partition(statis_date='20180228')

** 3.注意，如果想查看所有分区的数据，除了上面设置nostrict之外，还可以使用 is not null实现查看所有分区数据。**

**   select \*  from t\_fin\_demo where statis\_date is not null  ---这里statis\_date 是分区**