Hive创建外部分区表

Bertha 。 2023-01-18 12:30 241阅读 0赞

## Hive外部分区表 ##

### 建表语句 ###

create external table xxx(
    xxx int,
    xxx string,
    xxx array<bigint>,
    xxx struct<aaa:string,bbb:string>
    )
    partitioned by(pk string) # 分区
    row format delimited fields terminated by ',' # 按逗号分隔, text存储时使用
    row format serde 'org.apache.hadoop.hive.serde2.JsonSerDe' # json格式的话加上这条, stored选textfile
    stored as parquet # 五种类型可选, textfile, sequencefile, rcfile, orcfile, parquet
    location '数据地址'

### 常用命令 ###

# 修复分区
    msck repair table xxx;
    # 添加/删除分区
    alter table xxx add partition(pk='xxx') location 'xxxx';
    alter table xxx drop partition(pk='xxx');
    # 查看分区
    show partitions xxx;
    # 查看分区结构
    desc formatted xxx;
    # 查看建表语句
    show create table xxxx;
    # 查看表字段
    describe table;

### 创建view ###

kylin只能导入扁平化hive表, 不支持hive复杂数据类型, 导入进去不显示  
可通过创建view拍平复杂字段

create view if not exists xxx
    partitioned on (pk)
    as
    select aaa, bbb, ccc from yyy
    lateral view inline(properties) pp_table; # properties是struct结构字段, pp_table是lateral view创建的一张虚拟表

### 序列化 ###

SerDe是Serialize/Deserilize的简称, 用于序列化和反序列化  
用户在建表时可以用自定义的SerDe或者Hive自带的SerDe  
例如json文件, 在Hive0.12以上版本使用`org.apache.hive.hcatalog.data.JsonSerDe`  
在Hive3.0开始被添加到Hive Serde中, `org.apache.hadoop.hive.serde2.JsonSerDe`  
预计在Hive4.0中可直接支持为独立的文件格式, 即stored as jsonfile

发表评论取消回复

表情：

评论列表（有 0 条评论，241人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive创建外部分区表

Hive外部分区表建表语句 create external table xxx( xxx int, xxx string, xxx

Bertha 。/ 2023年01月18日 12:30/ 0 赞/ 241 阅读

相关 hive分区表

分区表 1 为什么出现分区表？假设有海量的数据保存在hdfs的某一个hive表明对应的目录下，使用hive进行操作的时候，往往会搜索这个目录下的所有文件，这有时会

朱雀/ 2022年06月12日 05:28/ 0 赞/ 326 阅读

相关 Hive---外部分区表的创建

Hive---外部分区表的创建 Hive相当于在hadoop之上加了一个SQL语法层，它提供了客户端与接口供使用人员与hadoop间接交互，简化了hadoop的使用。它接收S

女爷i/ 2022年05月22日 11:53/ 0 赞/ 266 阅读

相关 Hive 分区表

Hive 分区表创建 hive> CREATE TABLE t3(id int,name string,age int) PARTITIONED BY (Year I

小灰灰/ 2022年05月13日 23:11/ 0 赞/ 260 阅读

相关 Hive的基本操作、创建内部表、创建外部表、创建分桶表、创建分区表 04

1. 创建数据库创建数据库不指定位置 create database if not exists myhive; use myhive; !

逃离我推掉我的手/ 2022年03月01日 15:14/ 0 赞/ 633 阅读

相关 HIVE创建动态和静态分区表

前言为什么需要创建分区表？我这里有一张user表，里面记录了用户的职业、年龄、职业编号的信息，当没有条件查询时，速度如下： ![在这里插入图片描述][2019040

怼烎@/ 2022年02月24日 12:33/ 0 赞/ 346 阅读

相关【hive创建动态分区】使用MSCK命令修复Hive表分区

【hive创建动态分区】使用MSCK命令修复Hive表分区一、介绍我们平时通常是通过alter table add partition方式增加Hive的分区的，但有时候

电玩女神/ 2021年12月19日 00:37/ 0 赞/ 545 阅读

相关一起学Hive——创建内部表、外部表、分区表和分桶表及导入数据

Hive本身并不存储数据，而是将数据存储在Hadoop的HDFS中，表名对应HDFS中的目录/文件。根据数据的不同存储方式，将Hive表分为外部表、内部表、分区表和分桶表四种数

以你之姓@/ 2021年10月01日 00:44/ 0 赞/ 462 阅读

相关 Hive编程指南-表创建、内部表、外部表

摘要：本文主要介绍了Hive创建表的一些知识，包含内部表、外部表、分区和分桶等。一、表创建基本知识一般创建sql如下 create ta

矫情吗；*/ 2021年09月11日 06:44/ 0 赞/ 1064 阅读

相关 hive 分区表

hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际

缺乏、安全感/ 2021年06月24日 14:37/ 0 赞/ 570 阅读