三十、Hive的数据类型以及常用的属性配置

妖狐艹你老母 2021-09-03 04:19 540阅读 0赞

上篇文章我们在服务器上部署了Hive并将它的Metastore存储在了MySQL上，本文介绍一下Hive的数据类型以及常用的一些属性配置。关注专栏[《破茧成蝶——大数据篇》][Link 1]，查看更多相关的内容~

--------------------

**目录**

一、Hive的数据类型

1.1 基本数据类型

1.2 集合数据类型

1.2.1 介绍

1.2.2 示例

1.3 数据类型转换

二、常用的属性配置

2.1 HiveServer2服务

2.2 Hive的交互命令

2.3 Hive的其他命令

2.4 常用的属性配置

2.4.1 查询显示表头信息

2.4.2 显示当前数据库名称

2.4.3 配置Hive数据仓库位置

2.4.4 配置Hive运行日志信息存放位置

2.4.5 参数配置的优先级

--------------------

# 一、Hive的数据类型 #

## 1.1 基本数据类型 ##

Hive的基本数据类型有10种，如下所示：

<table style="margin-left:5.4pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:114.35pt;"> Hive数据类型 </td> 
 <td style="vertical-align:top;width:97.85pt;"> 对应的Java数据类型 </td> 
 <td style="vertical-align:top;width:105.6pt;"> 长度 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:114.35pt;"> TINYINT </td> 
 <td style="vertical-align:top;width:97.85pt;"> byte </td> 
 <td style="vertical-align:top;width:105.6pt;"> 1byte有符号整数 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:114.35pt;"> SMALINT </td> 
 <td style="vertical-align:top;width:97.85pt;"> short </td> 
 <td style="vertical-align:top;width:105.6pt;"> 2byte有符号整数 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:114.35pt;"> INT </td> 
 <td style="vertical-align:top;width:97.85pt;"> int </td> 
 <td style="vertical-align:top;width:105.6pt;"> 4byte有符号整数 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:114.35pt;"> BIGINT </td> 
 <td style="vertical-align:top;width:97.85pt;"> long </td> 
 <td style="vertical-align:top;width:105.6pt;"> 8byte有符号整数 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:114.35pt;"> BOOLEAN </td> 
 <td style="vertical-align:top;width:97.85pt;"> boolean </td> 
 <td style="vertical-align:top;width:105.6pt;"> 布尔类型，true或者false </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:114.35pt;"> FLOAT </td> 
 <td style="vertical-align:top;width:97.85pt;"> float </td> 
 <td style="vertical-align:top;width:105.6pt;"> 单精度浮点数 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:114.35pt;"> DOUBLE </td> 
 <td style="vertical-align:top;width:97.85pt;"> double </td> 
 <td style="vertical-align:top;width:105.6pt;"> 双精度浮点数 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:114.35pt;"> STRING </td> 
 <td style="vertical-align:top;width:97.85pt;"> string </td> 
 <td style="vertical-align:top;width:105.6pt;"> 字符系列，可以指定字符集，可以使用单引号或者双引号。相当于数据库的varchar类型 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:114.35pt;"> TIMESTAMP </td> 
 <td style="vertical-align:top;width:97.85pt;"> &nbsp; </td> 
 <td style="vertical-align:top;width:105.6pt;"> 时间类型 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:114.35pt;"> BINARY </td> 
 <td style="vertical-align:top;width:97.85pt;"> &nbsp; </td> 
 <td style="vertical-align:top;width:105.6pt;"> 字节数组 </td> 
 </tr> 
 </tbody> 
</table>

## 1.2 集合数据类型 ##

### 1.2.1 介绍 ###

<table style="margin-left:5.4pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:78pt;"> 数据类型 </td> 
 <td style="vertical-align:top;width:200.65pt;"> 描述 </td> 
 <td style="vertical-align:top;width:132.45pt;"> 语法示例 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:78pt;"> STRUCT </td> 
 <td style="vertical-align:top;width:200.65pt;"> 通过“点”符号访问元素内容。例如，如果某个列的数据类型是STRUCT{one STRING, two STRING},那么第1个元素可以通过字段.one来引用。 </td> 
 <td style="vertical-align:top;width:132.45pt;"> struct() 例如struct&lt;person:string, city:string&gt; </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:78pt;"> MAP </td> 
 <td style="vertical-align:top;width:200.65pt;"> MAP是一组键-值对元组集合，使用数组表示法可以访问数据。例如，如果某个列的数据类型是MAP，其中键-&gt;值对是’one’-&gt;’xzw’和’two’-&gt;’yxy’，那么可以通过字段名[‘two’]获取最后一个元素 </td> 
 <td style="vertical-align:top;width:132.45pt;"> map() 例如map&lt;string, int&gt; </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:78pt;"> ARRAY </td> 
 <td style="vertical-align:top;width:200.65pt;"> 数组是一组具有相同类型和名称的变量的集合。这些变量称为数组的元素，每个数组元素都有一个编号，编号从零开始。例如，数组值为[‘one’, ‘two’]，那么第2个元素可以通过数组名[1]进行引用。 </td> 
 <td style="vertical-align:top;width:132.45pt;"> Array() 例如array&lt;string&gt; </td> 
 </tr> 
 </tbody> 
</table>

Hive有三种复杂数据类型STRUCT、ARRAY和MAP。STRUCT与C语言中的Struct类似，它封装了一个命名字段集合。ARRAY和MAP与Java中的Array和Map类似。复杂数据类型允许任意层次的嵌套。

### 1.2.2 示例 ###

1、现有如下的数据

[{
        "name": "xzw",
        "loc": ["qd" , "zb"],
        "city": {
            "ta": 4,
            "qd": 3
        }
        "subject": {
            "dm": "Python" ,
            "reg": "bigdata" 
        }
    },
    {
        "name": "yxy",
        "loc": ["bj" , "sh"],
        "city": {
            "bj": 1,
            "sh": 3
        }
        "subject": {
            "dm": "Java" ,
            "reg": "AI" 
        }
    }]

2、首先我们需要构造一下导入Hive中的数据文件，数据文件如下所示：

值得注意的是，MAP，STRUCT和ARRAY里的元素间关系都可以用同一个字符表示，这里用“|”。构造好的test.txt文件放到/root/files目录下。

![2020121221301077.png][]

3、创建Hive表

create table test(
 name string,
 loc array<string>,
 city map<string, int>,
 subject struct<dm:string, reg:string>
 )
 row format delimited fields terminated by ','
 collection items terminated by '|'
 map keys terminated by ':'
 lines terminated by '\n';

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70][]

4、加载数据到Hive表中

load data local inpath '/root/files/test.txt' into table test;

![20201212213418501.png][]

5、查询测试

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1][]

## 1.3 数据类型转换 ##

Hive的数据类型是可以进行隐式转换的，其规则如下：

（1）任何整数类型都可以隐式地转换为一个范围更广的类型，如TINYINT可以转换成INT，INT可以转换成BIGINT。
    （2）所有整数类型、FLOAT和STRING类型都可以隐式地转换成DOUBLE。
    （3）TINYINT、SMALLINT、INT都可以转换为FLOAT。
    （4）BOOLEAN类型不可以转换为任何其它的类型。
    （5）可以使用CAST操作显示进行数据类型转换。例如CAST('1' AS INT)将把字符串'1' 转换成整数1；如果强制类型转换失败，如执行CAST('X' AS INT)，表达式返回空值 NULL。

# 二、常用的属性配置 #

在讲解常用的属性配置之前，我们先来看一下怎样访问或者是连接Hive以及Hive常用的一些交互命令等，这对后续属性配置的讲解有一个打基础的作用。

## 2.1 HiveServer2服务 ##

HiveServer2（HS2）是服务器接口，使远程客户端执行对Hive的查询和检索结果。换句话说，可以使用JDBC通过HiveServer2服务对Hive进行访问。以下便是如何开启HiveServer2服务。

1、首先通过以下命令启动HiveServer2服务：

hiveserver2

2、启动beeline

beeline

![20201213091413559.png][]

3、连接HiveServer2服务

通过以下命令连接HiveServer2服务：

!connect jdbc:hive2://master:10000

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2][]

## 2.2 Hive的交互命令 ##

可以通过如下命令，查看Hive都有哪些交互命令：

hive -help

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 3][]

常用的交互命令可以参考我的另外一篇博客：[《Hive通过-f调用sql文件并进行传参》][Hive_-f_sql]。

## 2.3 Hive的其他命令 ##

1、在命令行查看hdfs文件系统

dfs -ls /;

![20201213093320544.png][]

2、在命令行查看本地文件系统

！ls /root/files;

![20201213093426625.png][]

3、查看在Hive中输入的历史命令

在根目录下有一个叫做.hivehistory的命令，如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 4][]

## 2.4 常用的属性配置 ##

### 2.4.1 查询显示表头信息 ###

在hive-site.xml中添加如下配置：

<property>
 	<name>hive.cli.print.header</name>
 	<value>true</value>
 </property>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 5][]

### 2.4.2 显示当前数据库名称 ###

在hive-site.xml中添加如下配置：

<property>
 	<name>hive.cli.print.current.db</name>
 	<value>true</value>
 </property>

![20201213095040679.png][]

### 2.4.3 配置Hive数据仓库位置 ###

默认数据仓库的最原始位置是在hdfs上的/user/hive/warehouse路径下。在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，它会直接在数据仓库目录下创建一个文件夹。在hive-site.xml中添加如下配置解决此问题：

<property>
 <name>hive.metastore.warehouse.dir</name>
 <value>/user/hive/warehouse/default</value>
 <description>location of default database for the warehouse</description>
 </property>

并修改执行权限：

hdfs dfs -chmod g+w /user/hive/warehouse/default

在default数据库中新建一张表进行测试：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 6][]

可以发现在default数据库中新建的表都出现在了hdfs上的default目录下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 7][]

### 2.4.4 配置Hive运行日志信息存放位置 ###

默认情况下，Hive的日志信息存放在/tmp/root/目录下：

![20201213101617679.png][]

修改hive-log4j.properties文件将日志信息放到指定位置，这里有个问题出现了，有的小伙伴发现在hive测conf目录下，没有这个配置文件，所以，在修改这个配置文件之前，还需要进行一步下面的操作：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 8][]

此时，修改配置文件中的对应参数即可：

![20201213102233201.png][]

### 2.4.5 参数配置的优先级 ###

在Hive的参数配置中，有三种参数的配置方式，分别如下。

1、通过配置文件。默认的配置文件是hive-default.xml，用户自定义的配置文件是hive-site.xml。用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都有效。2、在命令行中通过set添加配置，例如：set mapred.reduce.tasks=100;。这种方式是临时修改配置文件，当Hive下次启动时，将会失效。3、在启动Hive时通过设置参数-hiveconf来设置，例如：hive -hiveconf mapred.reduce.tasks=10。同样的，这种方式是临时修改配置文件，当Hive下次启动时，将会失效。

上述三种设定方式的优先级为修改配置文件<命令行参数<参数声明。

本文到此就接近尾声了，你们在此过程中遇到了什么问题，欢迎留言，让我看看你们都遇到了哪些问题~

[Link 1]: https://blog.csdn.net/gdkyxy2013/category_10006538.html
[2020121221301077.png]: /images/20210726/e283e598d8e84c5b8630158772c84fe4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70]: /images/20210726/0c7cec8c82454a53b96deb5ee9af6e28.png
[20201212213418501.png]: /images/20210726/c9f306bfcf414d1d915ac2b29a62a3c4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1]: /images/20210726/a81a6d968def4ba191449953073fe731.png
[20201213091413559.png]: /images/20210726/a1b281f3e44547538324556484f4cd56.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2]: /images/20210726/7bda7c5bcfd64091bea3c890f6f2cf0a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 3]: /images/20210726/9117e3156a31496db4f65cba2bd12a4a.png
[Hive_-f_sql]: https://blog.csdn.net/gdkyxy2013/article/details/86238689
[20201213093320544.png]: /images/20210726/2634790877744aebb316aa1bf278021d.png
[20201213093426625.png]: /images/20210726/31c9c062dee5419bae703007af9cd1c8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 4]: /images/20210726/bb3c672479bf44e8a7cddd08331a1257.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 5]: /images/20210726/9e8b1b0ffd5145f7a08d840b32368808.png
[20201213095040679.png]: /images/20210726/baa9350e16b7432b921fcd1c8973f982.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 6]: /images/20210726/47cd9a638e5048c9a13895398aa06dad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 7]: /images/20210726/7a670646b43346ecb686d084d079b1fd.png
[20201213101617679.png]: /images/20210726/b881cf77ce634d9eb954c71b05d47933.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 8]: /images/20210726/d77851b8aac94e8bb202b01ca39aa210.png
[20201213102233201.png]: /images/20210726/bdbf332a935c425bb596cc1b04b90c7a.png