hive 分桶及抽样调查

╰+哭是因爲堅強的太久メ 2023-06-12 06:18 18阅读 0赞

#### 1、分桶的概述 ####

分区提供了一个隔离数据和优化查询的遍历方式。不是所有的数据集都可形成合力的分区

对于一张表或者分区，hive可以进一步组织成桶，也就是更为**细粒度**的数据范围

`分区针对的是数据的存储路径（分文件夹）`

`分桶针对的是数据文件`

#### 2、创建分桶表，数据通过子查询的方式导入 ####

（1）创建一个普通表

create table stu(id int, name string)
    row format delimited fields terminated by '\t';

（2）向普通表中导入数据

load data local inpath '/opt/module/datas/student.txt' into table stu

（3）创建分桶表

create table stu_buck(
    id int,
    name string
    )
    clustered by(id)
    into 4 buckets
    row format delimited fields terminated by '\t'

（3）通过**子查询导入数据**到分桶表（直接导入数据到分桶表，不能分桶）

insert into table stu_buck
    select id,name from stu;

（4）需要设置属性强制分桶

set hive.enforce.bucketing=true;
    set mapreduce.job.reduces=-1;

#### 3、分桶规则 ####

hive的分桶采用对分桶字段的值进行hash，然后除以**桶的个数求余**的方式决定该条记录存放在哪个桶中

#### 4、分桶抽样查询 ####

对于非常大的数据集，有时用户需要使用的是一个具有代表性的查询结果而不是全部结果。Hive可以通过对表进行抽样来满足这个需求。

select * from stu_buck tablesample(bucket 1 out of 4 on id);

注：tablesample是抽样语句，语法：TABLESAMPLE(BUCKET x OUT OF y ON field) 。

--------------------

y必须是table总bucket数的倍数或者因子。hive根据y的大小，决定抽样的比例。例如，table总共分了4份，当y=2时，抽取(4/2=)2个bucket的数据，当y=8时，抽取(4/8=)1/2个bucket的数据。

**x表示从哪个bucket开始抽取，如果需要取多个分区，以后的分区号为当前分区号加上y**。例如，table总bucket数为4，tablesample(bucket 1 out of 2)，表示总共抽取（4/2=）2个bucket的数据，抽取第1(x)个和第3(x+y)个bucket的数据。

**注意：x的值必须小于等于y的值，否则**

FAILED: SemanticException [Error 10061]: Numerator should not be bigger than denominator in sample clause for table stu_buck

发表评论取消回复

表情：

评论列表（有 0 条评论，18人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive 分桶表及作用

Hive 分桶表一.概述分桶和分区的区别？如何创建分桶表？分桶表的作用？二. 补充：通用的 join

我就是我/ 2024年04月07日 14:40/ 0 赞/ 94 阅读

相关 Hive分桶

![8ac99b3f981552515224527077311ec3.jpeg][] 分桶的概述 ![12f338be3a93ca65c343f4301c4e942a.

向右看齐/ 2023年10月13日 14:34/ 0 赞/ 56 阅读

相关 09：Hive从0到1系列学习：分桶表和抽样查询

内容目录分桶表抽样查询 Hive的存储是在hdfs上，当Hive创建一张表的时候，其实是在hdfs上创建了一个文件夹。在查询

矫情吗；*/ 2023年10月04日 17:19/ 0 赞/ 28 阅读

相关 HIVE调优之分桶

分桶规则对分桶字段值进行哈希，哈希值除以桶的个数求余，余数决定了该条记录在哪个桶中，也就是余数相同的在一个桶中分桶优点

缺乏、安全感/ 2023年08月17日 15:18/ 0 赞/ 124 阅读

相关 HIve 创建分桶表

1 创建分桶表: 把一个大文件拆分小文件来处理分桶也是一种用于优化查询而设计的表类型。创建分桶表时，指定桶的个数和分桶的依据字段，Hive就可以自动将数据分桶存储。查询时只

偏执的太偏执、/ 2023年06月26日 08:18/ 0 赞/ 50 阅读

相关 hive 分桶及抽样调查

1、分桶的概述分区提供了一个隔离数据和优化查询的遍历方式。不是所有的数据集都可形成合力的分区对于一张表或者分区，hive可以进一步组织成桶，也就是更为细粒度的数据范

╰+哭是因爲堅強的太久メ/ 2023年06月12日 06:18/ 0 赞/ 19 阅读

相关 Hive 分区表 & 分桶表

本文目录 1.分区表 Ⅰ.分区表基本操作 1.创建分区表语句 2.分区数据准备 3.装载

小灰灰/ 2022年10月16日 06:27/ 0 赞/ 301 阅读

相关 Hive(十九)--分桶

创建带分桶的表建表语句 CREATE TABLE user_info_bucketed(user_id BIGINT, firstname STRING,

痛定思痛。/ 2022年06月09日 05:21/ 0 赞/ 274 阅读

相关 Hive中的桶表入门（适用于抽样查询）

1、基本概念（1）桶表是对某一列数据进行哈希取值以将数据打散，然后放到不同文件中存储。（2）在hive分区表中，分区中的数据量过于庞大时，建议使用桶。（

心已赠人/ 2022年04月24日 11:42/ 0 赞/ 941 阅读

相关 Hive分桶笔记

分桶表与其他表的区别：分桶表是从别的表查询的数据在insert到分桶表中；而其他表是load

我就是我/ 2022年01月14日 06:05/ 0 赞/ 269 阅读