hive学习笔记之一：基本数据类型

素颜马尾好姑娘i 2022-12-18 13:59 211阅读 0赞

### 欢迎访问我的GitHub ###

> 这里分类和汇总了欣宸的全部原创(含配套源码)：[https://github.com/zq2599/blog\_demos][https_github.com_zq2599_blog_demos]

### 《hive学习笔记》系列导航 ###

1.  [基本数据类型][Link 1]
2.  [复杂数据类型][Link 2]
3.  [内部表和外部表][Link 3]
4.  [分区表][Link 4]
5.  [分桶][Link 5]
6.  [HiveQL基础][HiveQL]
7.  [内置函数][Link 6]
8.  [Sqoop][]
9.  [基础UDF][UDF]
10. [用户自定义聚合函数(UDAF)][UDAF]
11. [UDTF][]

### 关于hive学习笔记系列 ###

*  《hive学习笔记》系列保持了作者一贯的风格，即通过实战学习和了解；
 *  作为一个构建在Hadoop上的数据仓库框架，hive被用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制，hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。(来自：《Hadoop应用开发实战详解（修订版）》)
 *  架构如下，可见最终还是在执行MapReduce：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70_pic_center]

### 环境信息 ###

本文对应的环境信息如下：

1.  CentOS Linux release 7.5.1804
2.  JDK：1.8.0\_191
3.  hadoop：2.7.7
4.  hive：1.2.2

### 关于hive的部署 ###

1.  需要先部署hadoop环境，请参考[《Linux部署hadoop2.7.7集群》][Linux_hadoop2.7.7]
2.  hadoop部署成功后，安装和体验hive其参考[《安装和体验hive》][hive]

### 数据类型简介 ###

Hive支持基本和复杂数据类型：

*  基本数据类型：包括数值型、布尔型、字符串类型和时间戳类型；
 *  复杂数据类型：数组、映射、结构；

### 基本数据类型 ###

*  通过思维导图来分类和理解：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70_pic_center 1]
 *  下面通过列表说明所有的基本数据类型：

<table> 
 <thead> 
  <tr> 
   <th>类型</th> 
   <th>描述</th> 
   <th>示例</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>BOOLEAN</td> 
   <td>true/false</td> 
   <td>TRUE</td> 
  </tr> 
  <tr> 
   <td>TINYINT</td> 
   <td>1字节有符号整数，从-128到127</td> 
   <td>1Y</td> 
  </tr> 
  <tr> 
   <td>SMALLINT</td> 
   <td>2字节有符号整数,从-32768到32767</td> 
   <td>1S</td> 
  </tr> 
  <tr> 
   <td>INT</td> 
   <td>4字节有符号整数,从-2147483648到2147483647</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>BIGINT</td> 
   <td>8字节有符号整数,<br>从-9223372036854775808到9223372036854775807</td> 
   <td>1L</td> 
  </tr> 
  <tr> 
   <td>FLOAT</td> 
   <td>4字节单精度浮点数</td> 
   <td>1.0</td> 
  </tr> 
  <tr> 
   <td>DOUBLE</td> 
   <td>8字节(64位)双精度浮点数</td> 
   <td>1.0</td> 
  </tr> 
  <tr> 
   <td>DECIMAL</td> 
   <td>任意精度有符号小数</td> 
   <td>1.0</td> 
  </tr> 
  <tr> 
   <td>STRING</td> 
   <td>无上限可变长度字符串</td> 
   <td>‘a’, “a”</td> 
  </tr> 
  <tr> 
   <td>VARCHAR</td> 
   <td>可变长度字符串</td> 
   <td>‘a’, “a”</td> 
  </tr> 
  <tr> 
   <td>CHAR</td> 
   <td>固定长度字符串</td> 
   <td>‘a’, “a”</td> 
  </tr> 
  <tr> 
   <td>BINARY</td> 
   <td>字节数组</td> 
   <td>-</td> 
  </tr> 
  <tr> 
   <td>TIMESTAMP</td> 
   <td>精度到纳秒的时间戳</td> 
   <td>‘2020-03-01 00:00:00’</td> 
  </tr> 
  <tr> 
   <td>DATE</td> 
   <td>日期</td> 
   <td>‘2020-01-01’</td> 
  </tr> 
 </tbody> 
</table>

### 关于三种字符串类型 ###

1.  STRING，变长，无需最大长度声明，理论上能存储2GB字符；
2.  VARCHAR，变长，需要声明最大长度（1到65535之间），例如VARCHAR(100)；
3.  CHAR，定长，如CHAR(100)；

### 常用类型综合实战 ###

1.  启动hive，进入交互模式，执行以下语句建表，字段类型是常用的几种：

create table t1(
    int_field  INT,
    string_field STRING,
    boolean_field BOOLEAN,
    date_field DATE,
    timestamp_field TIMESTAMP
    )
    ROW FORMAT DELIMITED FIELDS TERMINATED BY  '\t'
    STORED AS TEXTFILE;

1.  用insert语句新增一条记录：

insert into t1 
    values 
    (101, 'a101', true, '2020-01-01', '2020-03-01 00:00:00');

1.  使用函数，在新增的记录的时候，将timestamp\_field字段设置为当前时间，注意和前面的insert语句比较一下，使用函数时必须用到select XXX from XXX limit 1这样的语法：

insert into t1 
    select 
    103, 'a103', true, '2020-01-01', current_timestamp() 
    from t1 limit 1;

1.  看一下新增的两条记录：

hive> select * from t1;
    OK
    101	a101	true	2020-01-01	2020-03-01 00:00:00
    103	a103	true	2020-01-01	2020-10-27 20:42:35.729
    Time taken: 0.062 seconds, Fetched: 2 row(s)

1.  查看当前时间：

select unix_timestamp();

响应：

hive> select unix_timestamp();
    OK
    1603802631
    Time taken: 0.028 seconds, Fetched: 1 row(s)

1.  将DATE字段转为TIMESTAMP：

select cast(date_field as timestamp) from t1;

响应：

hive> select cast(date_field as timestamp) from t1;
    OK
    2020-01-01 00:00:00
    2020-01-01 00:00:00
    Time taken: 0.051 seconds, Fetched: 2 row(s)

1.  将TIMESTAMP字段转为DATE：

select to_date(timestamp_field) from t1;

响应：

hive> select to_date(timestamp_field) from t1;
    OK
    2020-03-01
    2020-10-27
    Time taken: 0.063 seconds, Fetched: 2 row(s)

1.  将TIMESTAMP字段转为BIGINT：

select to_date(timestamp_field) from t1;

响应：

hive> select to_date(timestamp_field) from t1;
    OK
    2020-03-01
    2020-10-27
    Time taken: 0.063 seconds, Fetched: 2 row(s)

至此，hive的基本数据类型已经了解，接下来的章节咱们一起学习了解复杂数据类型；

### 参考文档 ###

https://stackoverflow.com/questions/37863194/insert-timestamp-into-hive/37868132

### 欢迎关注公众号：程序员欣宸 ###

> 微信搜索「程序员欣宸」，我是欣宸，期待与您一同畅游Java世界…

[https_github.com_zq2599_blog_demos]: https://github.com/zq2599/blog_demos
[Link 1]: https://xinchen.blog.csdn.net/article/details/109304044
[Link 2]: https://xinchen.blog.csdn.net/article/details/109344642
[Link 3]: https://xinchen.blog.csdn.net/article/details/109393908
[Link 4]: https://xinchen.blog.csdn.net/article/details/109404278
[Link 5]: https://xinchen.blog.csdn.net/article/details/109412454
[HiveQL]: https://xinchen.blog.csdn.net/article/details/109432395
[Link 6]: https://xinchen.blog.csdn.net/article/details/109440325
[Sqoop]: https://xinchen.blog.csdn.net/article/details/109445825
[UDF]: https://xinchen.blog.csdn.net/article/details/109457019
[UDAF]: https://xinchen.blog.csdn.net/article/details/109499956
[UDTF]: https://xinchen.blog.csdn.net/article/details/109530630
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221122/7299e737e7624e83a8f0b0ab9d00e3a2.png
[Linux_hadoop2.7.7]: https://blog.csdn.net/boling_cavalry/article/details/86774385
[hive]: https://blog.csdn.net/boling_cavalry/article/details/102310449
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221122/9d2feab54ff540baa9e69cb8a48b4873.png