09：Hive从0到1系列学习：分桶表和抽样查询

矫情吗；* 2023-10-04 17:19 53阅读 0赞

#### 内容目录 ####

*   *   *  分桶表
         *  抽样查询

Hive的存储是在hdfs上，当Hive创建一张表的时候，其实是在hdfs上创建了一个文件夹。在查询数据的时候，也是将文件夹下所有的文件进行读取，这在海量数据的应用中无疑是非常耗时的，为了进行查找优化，可以使用分区分桶，将数据按照分区分开，在查询的时候查看是哪个区或桶，到相应的位置查找即可

#### 分桶表 ####

对于一张表或者分区，Hive 可以进一步组织成桶，也就是更为细粒度的数据范围划分。

分区是针对与文件夹，可以将数据分为不同的文件夹，而分桶是针对数据文件而言的

①创建分桶表

create table stu_bucket(id int, name string)
    clustered by(id) 
    into 4 buckets
    row format delimited 
    fields terminated by '\t';

②查看表结构

desc formatted stu_bucket;

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16]

**注意：reduce的个数要大于或者等于桶的个数**

#### 抽样查询 ####

对于非常大的数据集，有时用户需要使用的是一个具有代表性的查询结果而不是全部结果。Hive可以通过对表进行抽样来满足这个需求。

语法:

TABLESAMPLE(BUCKET x OUT OF y);

查询表stu\_buck中的数据。

select * from stu_bucket tablesample(bucket 1 out of 4 on id);

注意：x的值必须小于等于y的值

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/07c52ea443254ea6a358b648f60b38d4.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16