hive桶表

清疚 2022-06-12 13:13 194阅读 0赞

# hive桶表 #

## 1 桶表的概念 ##

在hive中，数据库、表、分区都是对应到hdfs上的路径，当往表中上传数据的时候，数据会传到对应的路径下，形成新的文件，文件名的格式类似为00000\_0…每次插入文件都会形成新的文件，命名也是有规律的，桶表就是对应不同的文件的。  
hive中有桶的概念，对于每一个表或者分区来说，可以进一步组织成桶，其实就是更细粒度的数据范围。  
hive采用列值哈希，然后除以桶的个数以求余数的方式确定该条记录是存放在那个表中。  
**公式：whichBucket = hash(columnValue) % numberOfBuckets**  
hive桶表最大限度的保证了每个桶中的文件中的数据量大致相同，不会造成数据倾斜。  
**总结：**桶表就是对一次进入表的数据进行文件级别的划分。

## 2 使用桶表的好处 ##

1.  获得更高的查询处理效率，桶表加上额外的结构，hivee在处理有些查询的时候能利用这个结构。具体而言，连接两个在（包含连接列的）相同列上划分桶的表，可以使用map端连接（map-side join）高效的实现。比如join操作。对于join操作两个表有一个相同的列，如果对这两个表都进行桶的操作。那么僵保存相同列值得桶进行join操作就可以了。可以大大尖山join的数据量。
2.  使取样（sampling）更高效；在处理大规模数据集时，在开发和修改查询阶段，如果能在数据集的一小部分数据上试运行查询，会带来很多方便。

**注意：** clustered by 和sorted by不会影响数据的导入，这意味着，用户必须自己负责数据是如何导入的，包括数据的分桶和排序。

桶表通常是和抽样联合使用的，桶表可以使数据分散存放，这是对每个文件进行抽样的话，就极大的保证了抽样的均衡性。如果数据姓谢的话就会导致抽样的不均匀。

## 3 创建桶表的语法 ##

create table emp(id int, name string) CLUSTERED BY (id) INTO 2 BUCKETS row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile;

clustered by 后面加的列一定是在表中存在的列，后面接的是桶的个数，2意味着一次上传数据会根据id的hash值再与2取模，根据这个值决定这条数据落入那个文件中。

hive> desc formatted emp;
    OK
    # col_name data_type comment
    
    id                      int
    name                    string
    
    # Detailed Table Information
    Database:               test
    Owner:                  yanzhelee
    CreateTime:             Sun Jul 23 08:15:16 PDT 2017
    LastAccessTime:         UNKNOWN
    Retention:              0
    Location:               hdfs://s200/user/hive/warehouse/test.db/emp
    Table Type:             MANAGED_TABLE
    Table Parameters:
            COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\"}
            numFiles                0
            numRows                 0
            rawDataSize             0
            totalSize               0
            transient_lastDdlTime   1500822916
    
    # Storage Information
    SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
    InputFormat:            org.apache.hadoop.mapred.TextInputFormat
    OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
    Compressed:             No
    Num Buckets:            2
    Bucket Columns:         [id]
    Sort Columns:           []
    Storage Desc Params:
            field.delim             ,
            line.delim              \n
            serialization.format    ,
    Time taken: 0.157 seconds, Fetched: 33 row(s)

准备一个原始表src\_emp,其中的字段也是id和name，里面的内容随意，id递增。

1,tom
    2,toms
    3,jerry
    4,bob
    5,tomas

## 4 插入数据 ##

桶的数量意味着产生文件的数量，那么两个桶就应该使用2个reduce任务来完成，但是默认情况下hive至启动一个reducer，所以要修改reducer的数量，可以通过设置强制分桶机制来保证reducer数量和桶的数量一致。  
`set hive.enforce.bucketing = true;`  
这个一定要改成true，hive就会根据桶的数量启动reducer数量。  
**注意：**参数在设置的时候一定不能写错，hive是不提示错误的。

然后将这个表中的数据查询出来插入到桶表中。  
`insert into emp select * from src_emp;`  
从启动的作业信息来看，reducer的数量被改成2，这样的结果 是会产生和桶数相同的文件数量。

## 5 思考 ##

当使用了强制分桶的参数后，如果一次插入的数据量很少，那么会不会生成和桶数相同数量的文件呢？  
会的，强制分桶就是强制产生桶文件，不论一次插入的数量是多少，可能会有空的文件产生。

## 参考博文 ##

[http://www.cnblogs.com/wujin/p/6093401.html][http_www.cnblogs.com_wujin_p_6093401.html]

[http_www.cnblogs.com_wujin_p_6093401.html]: http://www.cnblogs.com/wujin/p/6093401.html