Hive-集合数据类型

梦里梦外; 2022-09-16 01:28 251阅读 0赞

除了使用础的数据类型string等，Hive中的列支持使用struct, map, array集合数据类型。

# 三种集合 #

1)STRUCT  
和C语言中的struct或者"对象"类似，都可以通过"点"符号访问元素内容。 struct\{‘John’, ‘Doe’\}  
2)MAP  
MAP是一组键-值对元素集合，使用key可以访问元素。 map(‘fisrt’, ‘John’, ‘last’, ‘Doe’)  
3)ARRAY  
数组是一组具有相同数据类型和名称的变量的集合。 Array(‘John’, ‘Doe’)  
补充的知识点:

row format delimited fields terminated by ','	--  (字段分隔符)列分隔符
    collection items terminated by '_'	--MAP STRUCT  和 ARRAY  的分隔符(数据分割符号) 
    map keys terminated by ':'	-- MAP 中的 key 与 value 的分隔符
    lines terminated by '\n';	--  行分隔符

# Array的使用 #

(1)创建数据库表，以array作为数据类型

create table person(
    name string,
    work_locations array<string>
    )
    row format delimited
    fields terminated by '\t' 
    collection items  terminated by ',';

**这里面有一个点是需要注意:row format delimited fields terminated by ‘\\t’ 代表的是字段用tab键进行分割,同时,写完之后是没有加逗号的,\\t末尾是空的!!!  
collection items terminated by ','代表的是集合用逗号分割!!!**

(2)在本地 /opt/module/datas目录下建立文件person.txt:

biansutao	beijing,shanghai,tianjin,hangzhou
    linan	changchu,chengdu,wuhan

导入到hive person表当中:

load data local inpath '/opt/module/datas/person.txt' overwrite into table default.person;

(3)查询数据:

hive (default)> select * from person;
    OK
    person.name	person.work_locations
    biansutao	["beijing","shanghai","tianjin","hangzhou"]
    linan	["changchu","chengdu","wuhan"]
    Time taken: 0.074 seconds, Fetched: 2 row(s)
    hive (default)> select name from person;
    OK
    name
    biansutao
    linan
    Time taken: 0.14 seconds, Fetched: 2 row(s)
    hive (default)> select work_locations from person;
    OK
    work_locations
    ["beijing","shanghai","tianjin","hangzhou"]
    ["changchu","chengdu","wuhan"]
    Time taken: 0.13 seconds, Fetched: 2 row(s)
    hive (default)> select work_locations[0] from person;
    OK
    _c0
    beijing
    changchu
    Time taken: 0.161 seconds, Fetched: 2 row(s)
    hive (default)> select work_locations[4] from person;
    OK
    _c0
    NULL
    NULL
    Time taken: 0.084 seconds, Fetched: 2 row(s)

# Map 的使用 #

(1)创建数据库表，以map作为数据类型

create table score(
    name string,
    score map<string,int>
    )
    row format delimited
    fields terminated by '\t' 
    collection items terminated by ','
    map keys terminated by ':';

以map为主要数据结构的时候,我一开始是没有写collection items terminated by ','这句分隔符的,我的想法是:map只要分割到map keys就可以,但是后面load data的时候才发现了问题,问题就出在如果map的字段是多个键值对,其中用逗号隔开,导入数据就会出错。

(2) 编辑vim score.txt:

biansutao	'数学':80,'语文':89,'英语':95
    jobs	'语文':60,'数学':80,'英语':99

导入数据:

load data local inpath '/opt/module/datas/score.txt'
    overwrite into table default.score;

查询数据：

hive (default)> select score["'数学'"] from score;
    OK
    _c0
    80
    80

**我发现一个问题,当我设置map的key为中文的字符时,在选取的时候,总会出现一些奇奇怪怪的问题,上面这条数据也是试了好几次才取到这条数据,以后在开发过程中尽量不写中文。总结:map选取key取到对应value的方法就是: 字段名\[‘key’\].  
取这个数据的时候,又发现了一个注意点就是:表名可以和字段名相同!!!**

# Struct 的使用 #

(1)创建数据表

CREATE TABLE test(id int,course struct<course:string,score:int>)
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY '\t'
    COLLECTION ITEMS TERMINATED BY ',';

(2)数据: vim test.txt:

1	english,80
    2	math,89
    3	chinese,95

(3)导入到表当中:

load data local inpath '/opt/module/datas/test.txt'
    into table default.test;

(4)查询数据:

hive (default)> select * from test;
    OK
    test.id	test.course
    1	{ "couse":"english","score":80}
    2	{ "couse":"math","score":89}
    3	{ "couse":"chinese","score":95}
    Time taken: 0.075 seconds, Fetched: 3 row(s)
    hive (default)> select course.couse from test;
    OK
    couse
    english
    math
    chinese
    Time taken: 0.351 seconds, Fetched: 3 row(s)
    hive (default)> select course.score  from test;
    OK
    score
    80
    89
    95
    Time taken: 0.105 seconds, Fetched: 3 row(s)

# 类型转换 #

在Hive中,TINYINT可以转化为INT,但是HIVE不会进行反向转化,例如,某表达式使用 TINYINT 类型，INT 不会自动转换为 TINYINT 类型，它会返回错误，除非使用 CAST 操作。  
隐式类型转换规则如下:  
（1）任何整数类型都可以隐式地转换为一个范围更广的类型，如 TINYINT 可以转换成INT，INT 可以转换成 BIGINT。  
（2）所有整数类型、FLOAT 和 STRING 类型都可以隐式地转换成 DOUBLE。  
（3）TINYINT、SMALLINT、INT 都可以转换为 FLOAT。  
（4）BOOLEAN 类型不可以转换为任何其它的类型。

可以使用 CAST 操作显示进行数据类型转换  
例如 CAST(‘1’ AS INT)将把字符串’1’ 转换成整数 1；如果强制类型转换失败，如执行 CAST(‘X’ AS INT)，表达式返回空值 NULL。