大数据之Hive 压缩和存储完整使用（第九章）

悠悠 2022-09-13 04:04 164阅读 0赞

### Hive 压缩和存储 完整使用 ###

*  一、 Hadoop 压缩配置
 *   *  1.1 MR 支持的压缩编码
     *   *  1.2 查看自己的压缩方式
         *  1.3 压缩参数配置
     *  2.0 开启 Map 输出阶段压缩（MR 引擎 案例实操）
     *   *  （1）开启 hive 中间传输数据压缩功能
         *  （2）开启 mapreduce 中 map 输出压缩功能
         *  （3）设置 mapreduce 中 map 输出数据的压缩方式
         *  （4）执行查询语句
     *  3.0 开启 Reduce 输出阶段压缩（案例实操）
     *   *  （1）开启 hive 最终输出数据压缩功能
         *  （2）开启 mapreduce 最终输出数据压缩
         *  （3）设置 mapreduce 最终数据输出压缩方式
         *  （4）设置 mapreduce 最终数据输出压缩为块压缩
         *  （5）测试一下输出结果是否是压缩文件
     *  4.0 文件存储格式
     *   *  4.1 列式存储和行式存储
         *  4.2 TextFile 格式
         *  4.3 Orc 格式
         *  4.4 Parquet 格式
         *  4.5 主流文件存储格式对比实验
     *  5.0 存储和压缩结合
     *   *  1) 测试存储和压缩
         *  1）创建一个 ZLIB 压缩的 ORC 存储方式
         *  2）创建一个 SNAPPY 压缩的 ORC 存储方式
         *  3）创建一个 SNAPPY 压缩的 parquet 存储方式
         *  4）存储方式和压缩总结

# 一、 Hadoop 压缩配置 #

## 1.1 MR 支持的压缩编码 ##

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 2]

http://google.github.io/snappy/
    On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 
    MB/sec or more and decompresses at about 500 MB/sec or more.

### 1.2 查看自己的压缩方式 ###

> hadoop checknative

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 3]

### 1.3 压缩参数配置 ###

> 要在 Hadoop 中启用压缩，可以配置如下参数（mapred-site.xml 文件中）

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 4]

## 2.0 开启 Map 输出阶段压缩（MR 引擎 案例实操） ##

> 开启 map 输出阶段压缩可以减少 job 中 map 和 Reduce task 间数据传输量。具体配置如下：

### （1）开启 hive 中间传输数据压缩功能 ###

hive (default)>set hive.exec.compress.intermediate=true;

### （2）开启 mapreduce 中 map 输出压缩功能 ###

hive (default)>set mapreduce.map.output.compress=true;

### （3）设置 mapreduce 中 map 输出数据的压缩方式 ###

hive (default)>set mapreduce.map.output.compress.codec=
    org.apache.hadoop.io.compress.SnappyCodec;

### （4）执行查询语句 ###

hive (default)> select count(ename) name from emp;

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 5]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 6]

## 3.0 开启 Reduce 输出阶段压缩（案例实操） ##

> 当 Hive 将 输 出 写 入 到 表 中 时 ， 输出内容同样可以进行压缩。属性  
> hive.exec.compress.output控制着这个功能。用户可能需要保持默认设置文件中的默认值false，  
> 这样默认的输出就是非压缩的纯文本文件了。用户可以通过在查询语句或执行脚本中设置这  
> 个值为 true，来开启输出结果压缩功能。

### （1）开启 hive 最终输出数据压缩功能 ###

hive (default)>set hive.exec.compress.output=true;

### （2）开启 mapreduce 最终输出数据压缩 ###

hive (default)>set mapreduce.output.fileoutputformat.compress=true;

### （3）设置 mapreduce 最终数据输出压缩方式 ###

hive (default)> set mapreduce.output.fileoutputformat.compress.codec =
    org.apache.hadoop.io.compress.SnappyCodec;

### （4）设置 mapreduce 最终数据输出压缩为块压缩 ###

hive (default)> set 
    mapreduce.output.fileoutputformat.compress.type=BLOCK;

### （5）测试一下输出结果是否是压缩文件 ###

hive (default)> insert overwrite local directory
    '/opt/module/data/distribute-result' select * from emp distribute by 
    deptno sort by empno desc;

## 4.0 文件存储格式 ##

前两个 基于行符，后两个基于列符
    Hive 支持的存储数据的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。

### 4.1 列式存储和行式存储 ###

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 7]  
如图所示左边为逻辑表，右边第一个为行式存储，第二个为列式存储

1）行存储的特点

查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列
    的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度
    更快。

2）列存储的特点

因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的
    数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算
    法。

TEXTFILE 和 SEQUENCEFILE 的存储格式都是基于行存储的；  
ORC 和 PARQUET 是基于列式存储的。

### 4.2 TextFile 格式 ###

默认格式，数据不做压缩，磁盘开销大，数据解析开销大。可结合 Gzip、Bzip2 使用，
    但使用 Gzip 这种方式，hive 不会对数据进行切分，从而无法对数据进行并行操作。

### 4.3 Orc 格式 ###

Orc (Optimized Row Columnar)是 Hive 0.11 版里引入的新的存储格式。
    如下图所示可以看到每个 Orc 文件由 1 个或多个 stripe 组成，每个 stripe 一般为 HDFS
    的块大小，每一个 stripe 包含多条记录，这些记录按照列进行独立存储，对应到 Parquet
    中的 row group 的概念。每个 Stripe 里有三部分组成，分别是 Index Data，Row Data，Stripe 
    Footer：

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_14_color_FFFFFF_t_70_g_se_x_16]

> 1）Index Data：一个轻量级的 index，默认是每隔 1W 行做一个索引。这里做的索引应该  
> 只是记录某行的各字段在 Row Data 中的 offset。

> 2）Row Data：存的是具体的数据，先取部分行，然后对这些行按列进行存储。对每个  
> 列进行了编码，分成多个 Stream 来存储。

> 3）Stripe Footer：存的是各个 Stream 的类型，长度等信息。  
> 每个文件有一个 File Footer，这里面存的是每个 Stripe 的行数，每个 Column 的数据类  
> 型信息等；每个文件的尾部是一个 PostScript，这里面记录了整个文件的压缩类型以及  
> FileFooter 的长度信息等。在读取文件时，会 seek 到文件尾部读 PostScript，从里面解析到  
> File Footer 长度，再读 FileFooter，从里面解析到各个 Stripe 信息，再读各个 Stripe，即从后  
> 往前读

### 4.4 Parquet 格式 ###

> Parquet 文件是以二进制方式存储的，所以是不可以直接读取的，文件中包括该文件的  
> 数据和元数据，因此 Parquet 格式文件是自解析的。

（1）行组(Row Group)：每一个行组包含一定的行数，在一个 HDFS 文件中至少存储一
    个行组，类似于 orc 的 stripe 的概念。
    （2）列块(Column Chunk)：在一个行组中每一列保存在一个列块中，行组中的所有列连
    续的存储在这个行组文件中。一个列块中的值都是相同类型的，不同的列块可能使用不同的
    算法进行压缩。
    （3）页(Page)：每一个列块划分为多个页，一个页是最小的编码的单位，在同一个列块
    的不同页可能使用不同的编码方式。
    通常情况下，在存储 Parquet 数据的时候会按照 Block 大小设置行组的大小，由于一般
    情况下每一个 Mapper 任务处理数据的最小单位是一个 Block，这样可以把每一个行组由一
    个 Mapper 任务处理，增大任务执行并行度。Parquet 文件的格式。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_14_color_FFFFFF_t_70_g_se_x_16 1]

上图展示了一个 Parquet 文件的内容，一个文件中可以存储多个行组，文件的首位都是
    该文件的 Magic Code，用于校验它是否是一个 Parquet 文件，Footer length 记录了文件元数
    据的大小，通过该值和文件长度可以计算出元数据的偏移量，文件的元数据中包括每一个行
    组的元数据信息和该文件存储数据的 Schema 信息。除了文件中每一个行组的元数据，每一
    页的开始都会存储该页的元数据，在 Parquet 中，有三种类型的页：数据页、字典页和索引
    页。数据页用于存储当前行组中该列的值，字典页存储该列值的编码字典，每一个列块中最
    多包含一个字典页，索引页用来存储当前行组下该列的索引，目前 Parquet 中还不支持索引
    页。

### 4.5 主流文件存储格式对比实验 ###

> 从存储文件的压缩比和查询速度两个角度对比。  
> 存储文件的压缩比测试：

1）测试数据  
2）TextFile  
（1）创建表，存储数据格式为 TEXTFILE

create table log_text (
    track_time string,
    url string,
    session_id string,
    referer string,
    ip string,
    end_user_id string,
    city_id string
    )
    row format delimited fields terminated by '\t'
    stored as textfile;

（2）向表中加载数据

hive (default)> load data local inpath '/opt/module/hive/datas/log.data' 
    into table log_text ;

（3）查看表中数据大小

hive (default)> dfs -du -h /user/hive/warehouse/log_text;

压缩效果  
**18.13 M /user/hive/warehouse/log\_text/log.data**

3）ORC  
（1）创建表，存储数据格式为 ORC

create table log_orc(
    track_time string,
    url string,
    session_id string,
    referer string,
    ip string,
    end_user_id string,
    city_id string
    )
    row format delimited fields terminated by '\t'
    stored as orc
    tblproperties("orc.compress"="NONE"); -- 设置 orc 存储不使用压缩

（2）向表中加载数据

hive (default)> insert into table log_orc select * from log_text;

（3）查看表中数据大小

hive (default)> dfs -du -h /user/hive/warehouse/log_orc/ ;

压缩效果  
**7.7 M /user/hive/warehouse/log\_orc/000000\_0**

4）Parquet  
（1）创建表，存储数据格式为 parquet

create table log_parquet(
    track_time string,
    url string,
    session_id string,
    referer string,
    ip string,
    end_user_id string,
    city_id string
    )
    row format delimited fields terminated by '\t'
    stored as parquet;

（2）向表中加载数据

hive (default)> insert into table log_parquet select * from log_text;

（3）查看表中数据大小

hive (default)> dfs -du -h /user/hive/warehouse/log_parquet/;

压缩效果  
**13.1 M /user/hive/warehouse/log\_parquet/000000\_0**

存储文件的对比总结：  
ORC > Parquet > textFile

存储文件的查询速度测试：  
（1）TextFile

hive (default)> insert overwrite local directory 
    '/opt/module/data/log_text' select substring(url,1,4) from log_text;
    
    OK
    _c0
    Time taken: 11.4 seconds

（2）ORC

hive (default)> insert overwrite local directory 
    '/opt/module/data/log_orc' select substring(url,1,4) from log_orc;
    
    OK
    _c0
    Time taken: 11.754 seconds

（3）Parquet

hive (default)> insert overwrite local directory 
    '/opt/module/data/log_parquet' select substring(url,1,4) from 
    log_parquet;
    
    OK
    _c0
    Time taken: 13.578 seconds

存储文件的查询速度总结：查询速度相近。

## 5.0 存储和压缩结合 ##

### 1) 测试存储和压缩 ###

官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC

ORC 存储方式的压缩

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 8]  
注意：所有关于 ORCFile 的参数都是在 HQL 语句的 TBLPROPERTIES 字段里面出现

### 1）创建一个 ZLIB 压缩的 ORC 存储方式 ###

（1）建表语句

create table log_orc_zlib( track_time string,
    url string, session_id string, referer string,
    ip string, end_user_id string, city_id string
    )
    row format delimited fields terminated by '\t' stored as orc

（2）插入数据

insert into log_orc_zlib select * from log_text;

（3）查看插入后数据

hive (default)> dfs -du -h /user/hive/warehouse/log_orc_zlib/ ;

2.78 M /user/hive/warehouse/log\_orc\_none/000000\_0

### 2）创建一个 SNAPPY 压缩的 ORC 存储方式 ###

（1）建表语句

create table log_orc_snappy( track_time string,
    url string,
    referer string, ip string,
    end_user_id string, city_id string
    )
    row format delimited fields terminated by '\t' stored as orc tblproperties("orc.compress"="SNAPPY");

（2）插入数据

insert into log_orc_snappy select * from log_text;

（3）查看插入后数据

hive (default)> dfs -du -h /user/hive/warehouse/log_orc_snappy/;

3.75 M /user/hive/warehouse/log\_orc\_snappy/000000\_0

ZLIB 比 Snappy 压缩的还小。原因是 ZLIB 采用的是 deflate 压缩算法。比 snappy 压缩的 压缩率高。

### 3）创建一个 SNAPPY 压缩的 parquet 存储方式 ###

（1）建表语句

create table log_parquet_snappy( track_time string,
    url string, session_id string, referer string,
    ip string, end_user_id string, city_id string
    )
    row format delimited fields terminated by '\t' stored as parquet

（2）插入数据

insert into log_parquet_snappy select * from log_text;

（3）查看插入后数据

hive (default)> dfs -du -h /user/hive/warehouse/log_parquet_snappy/;

6.39 MB /user/hive/warehouse/ log\_parquet\_snappy /000000\_0

### 4）存储方式和压缩总结 ###

在实际的项目开发当中，hive 表的数据存储格式一般选择：orc 或 parquet。
    压缩方式一 般选择 snappy，lzo。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/c22bc70bb35344bfaf87861259ec684a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/13fdad0cb1a24b1397591115fc163b8a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/ef1fd8765dac4925b5b85ee385b3cd20.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/c00d9194207a4089bfaca526899d981f.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/e0d72273d3b54575a2bce245effc0709.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 5]: /images/20220828/5f3d1b525b754792a7b805a7f6626866.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 6]: /images/20220828/3c330a7368a3443b8418b908632182b9.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 7]: /images/20220828/f78848198ef24bd5bdaafb8763b774df.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_14_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/adb4241d67b9406bb97c402f0f736363.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_14_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/040d210184fa4b07a717b39a32919429.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 8]: /images/20220828/241845b3374d42b9bdef4b1992735028.png