hive分区partition介绍

快来打我* 2022-10-25 00:48 205阅读 0赞

**一、简要概述**

1.  Hive分区更方便于数据管理，常见的有时间分区和业务分区。

**二、hive分区原理**  
通过实例来理解Hive分区的原理：

（一）多分区操作：

1.  创建分区表

CREATE  TABLE default.DWA_LBS_FUSE_SCIC_XXX(time string comment '时间戳',mdn string comment '手机号码',lon string comment '经度',lat string comment '纬度',cityCode string comment '地市',areaCode string comment '地区',dateType string comment '数据类型',type string comment '筛选方式') PARTITIONED BY (provId string comment '省份',day_id string comment '账期')ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION 'hdfs://Bdnameservice/domain/ns36/wznlxt_yxt/dwa_db.db/dwa_lbs_fuse_scic_xxx';

\[注意⚠️\]  
如果分区字段和表字段重复的话，就会报以下错误信息：

CREATE  TABLE default.DWA_LBS_FUSE_SCIC_XXX(time string comment '时间戳',mdn string comment '手机号码',lon string comment '经度',lat string comment '纬度',cityCode string comment '地市',areaCode string comment '地区',dateType string comment '数据类型',type string comment '筛选方式',provId string comment '省份',day_id string comment '账期') PARTITIONED BY (provId string comment '省份',day_id string comment '账期')ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION 'hdfs://Bdnameservice/domain/ns36/wznlxt_yxt/dwa_db.db/dwa_lbs_fuse_scic_xxx';
    ----------------------------------------------
    注：这里分区字段不能和表中的字段重复。
    报错信息：FAILED: SemanticException [Error 10035]: Column repeated in partitioning columns

1.  装载数据

样例如下：
    12,20210126,705249,6,530000,530100,530103,102.71192,25.04458,2021-01-28 12:52:28,853,20210126
    ----------------------------------------
    执行load data
    LOAD DATA  INPATH '/xxxxxx' INTO TABLE default.dwa_lbs_fuse_scic_xxx PARTITION(provId='140000',DAY_ID='20201220');

1.  查看数据及分区

（1）查看数据

select * from dwa_lbs_fuse_scic_xxx；

（2）查看分区

show partitions dwa_lbs_fuse_scic_xxx;

发表评论取消回复

表情：

评论列表（有 0 条评论，205人围观）

还没有评论，来说两句吧...

相关阅读

相关 hive分区partition介绍

一、简要概述 1. Hive分区更方便于数据管理，常见的有时间分区和业务分区。二、hive分区原理通过实例来理解Hive分区的原理：（一）多分区操作： 1.

快来打我*/ 2022年10月25日 00:48/ 0 赞/ 206 阅读

相关 PARTITION 按照月份分区

废话不多说，先上分区SQL CREATE TABLE `demo`( `id` bigint(20) NOT NULL AUTO_INCREMEN

ゝ一纸荒年。/ 2022年08月30日 05:15/ 0 赞/ 180 阅读

相关 mapreduce之partition分区

听了超哥的一席课后逐渐明白了partition，记录一下自己的理解！（thanks 超哥） package partition; import ja

短命女/ 2022年08月25日 12:51/ 0 赞/ 209 阅读

相关 hive 动态分区(Dynamic Partition)异常处理

hive 动态分区(Dynamic Partition)异常处理 Changing Hive Dynamic Partition Limits Symptoms

绝地灬酷狼/ 2022年05月28日 01:19/ 0 赞/ 190 阅读

相关 Kafka——分区partition

在之前的例子里([Kafka生产者——向 Kafka写入数据][Kafka_ Kafka])， ProducerRecord 对象包含了目标主题、键和值。 Kafka 的消息是

我就是我/ 2022年05月17日 12:27/ 0 赞/ 226 阅读

相关 Hive partition 分区表

分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通

迈不过友情╰/ 2022年04月25日 04:14/ 0 赞/ 298 阅读

相关 Hive Partition简介

一、背景 1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。

怼烎@/ 2022年03月28日 17:38/ 0 赞/ 172 阅读

相关 Hive Partition简介

一、背景 1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念

你的名字/ 2022年03月28日 17:37/ 0 赞/ 195 阅读

相关表分区-partition

partition分区：设置分区限制，t0:1-10，t1:10-20，t2:20-最大值： ![image.png][] 插入数据后可以看到topic表出现了t0、t

绝地灬酷狼/ 2022年01月10日 11:35/ 0 赞/ 304 阅读

相关 hive partition维护

在创建hive表时，可以指定分区，如下创建了一个按天、小时分区的表： CREATE EXTERNAL TABLE `test`( `name` strin

ゞ浴缸里的玫瑰/ 2021年06月22日 15:38/ 0 赞/ 439 阅读