Hive系列之-5、Hive的数据压缩和数据存储格式

我不是女神ヾ 2022-09-11 15:16 269阅读 0赞

**[大数据系列文章目录][Link 1]**

### 目录 ###

*  hive的数据压缩
 *   *  MR支持的压缩编码
     *  压缩配置参数
     *  开启Map输出阶段压缩
     *  开启Reduce输出阶段压缩
     *  hive的数据存储格式
     *   *  列式存储和行式存储
         *  主流文件存储格式对比实验
         *  存储和压缩结合
 *  结束

# hive的数据压缩 #

在实际工作当中，hive当中处理的数据，一般都需要经过压缩，可以使用压缩来节省我们的MR处理的网络带宽

## MR支持的压缩编码 ##

<table> 
 <thead> 
  <tr> 
   <th>压缩格式</th> 
   <th>工具</th> 
   <th>算法</th> 
   <th>文件扩展名</th> 
   <th>是否可切分</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>DEFAULT</td> 
   <td>无</td> 
   <td>DEFAULT</td> 
   <td>.deflate</td> 
   <td>否</td> 
  </tr> 
  <tr> 
   <td>Gzip</td> 
   <td>gzip</td> 
   <td>DEFAULT</td> 
   <td>.gz</td> 
   <td>否</td> 
  </tr> 
  <tr> 
   <td>bzip2</td> 
   <td>bzip2</td> 
   <td>bzip2</td> 
   <td>.bz2</td> 
   <td>是</td> 
  </tr> 
  <tr> 
   <td>LZO</td> 
   <td>lzop</td> 
   <td>LZO</td> 
   <td>.lzo</td> 
   <td>否</td> 
  </tr> 
  <tr> 
   <td>LZ4</td> 
   <td>无</td> 
   <td>LZ4</td> 
   <td>.lz4</td> 
   <td>否</td> 
  </tr> 
  <tr> 
   <td>Snappy</td> 
   <td>无</td> 
   <td>Snappy</td> 
   <td>.snappy</td> 
   <td>否</td> 
  </tr> 
 </tbody> 
</table>

为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示

<table> 
 <thead> 
  <tr> 
   <th>压缩格式</th> 
   <th>对应的编码/解码器</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>DEFLATE</td> 
   <td>org.apache.hadoop.io.compress.DefaultCodec</td> 
  </tr> 
  <tr> 
   <td>gzip</td> 
   <td>org.apache.hadoop.io.compress.GzipCodec</td> 
  </tr> 
  <tr> 
   <td>bzip2</td> 
   <td>org.apache.hadoop.io.compress.BZip2Codec</td> 
  </tr> 
  <tr> 
   <td>LZO</td> 
   <td>com.hadoop.compression.lzo.LzopCodec</td> 
  </tr> 
  <tr> 
   <td>LZ4</td> 
   <td>org.apache.hadoop.io.compress.Lz4Codec</td> 
  </tr> 
  <tr> 
   <td>Snappy</td> 
   <td>org.apache.hadoop.io.compress.SnappyCodec</td> 
  </tr> 
 </tbody> 
</table>

压缩性能的比较

<table> 
 <thead> 
  <tr> 
   <th>压缩算法</th> 
   <th>原始文件大小</th> 
   <th>压缩文件大小</th> 
   <th>压缩速度</th> 
   <th>解压速度</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>gzip</td> 
   <td>8.3GB</td> 
   <td>1.8GB</td> 
   <td>17.5MB/s</td> 
   <td>58MB/s</td> 
  </tr> 
  <tr> 
   <td>bzip2</td> 
   <td>8.3GB</td> 
   <td>1.8GB</td> 
   <td>17.5MB/s</td> 
   <td>9.5MB/s</td> 
  </tr> 
  <tr> 
   <td>LZO</td> 
   <td>8.3GB</td> 
   <td>1.8GB</td> 
   <td>17.5MB/s</td> 
   <td>74.6MB/s</td> 
  </tr> 
 </tbody> 
</table>

[http://google.github.io/snappy/][http_google.github.io_snappy]  
On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/sec or more and decompresses at about 500 MB/sec or more.

## 压缩配置参数 ##

要在Hadoop中启用压缩，可以配置如下参数（mapred-site.xml文件中）：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASmF2YeW8ueiNr-W6kw_size_20_color_FFFFFF_t_70_g_se_x_16]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASmF2YeW8ueiNr-W6kw_size_20_color_FFFFFF_t_70_g_se_x_16 1]

## 开启Map输出阶段压缩 ##

开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下：  
案例实操：  
1）开启hive中间传输数据压缩功能

hive(default)>set hive.exec.compress.intermediate=true;

2）开启mapreduce中map输出压缩功能

hive (default)>set mapreduce.map.output.compress=true;

3）设置mapreduce中map输出数据的压缩方式

hive (default)>set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;

4）执行查询语句

select count(1) from score;

## 开启Reduce输出阶段压缩 ##

当Hive将输出写入到表中时，输出内容同样可以进行压缩。属性  
hive.exec.compress.output控制着这个功能。用户可能需要保持默认设置文件中的默认值false，这样默认的输出就是非压缩的纯文本文件了。用户可以通过在查询语句或执行脚本中设置这个值为true，来开启输出结果压缩功能。

案例实操：

-- 1）开启hive最终输出数据压缩功能
    set hive.exec.compress.output=true;
    -- 2）开启mapreduce最终输出数据压缩
    set mapreduce.output.fileoutputformat.compress=true;
    -- 3）设置mapreduce最终数据输出压缩方式
    set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;
    -- 4）设置mapreduce最终数据输出压缩为块压缩
    set mapreduce.output.fileoutputformat.compress.type=BLOCK;
    -- 5）测试一下输出结果是否是压缩文件
    insert overwrite local directory '/export/data/exporthive/compress' select * from score distribute by sid sort by sscore desc;

## hive的数据存储格式 ##

Hive支持的存储数的格式主要有：**TEXTFILE**（行式存储） 、**SEQUENCEFILE**(行式存储)、**ORC**（列式存储）、**PARQUET**（列式存储）。

### 列式存储和行式存储 ###

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASmF2YeW8ueiNr-W6kw_size_18_color_FFFFFF_t_70_g_se_x_16]  
**行存储的特点：** 查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。

**列存储的特点：** 因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。

**相比于行式存储，列式存储在分析场景下有着许多优良的特性:**

1）分析场景中往往需要读大量行但是少数几个列。在行存模式下，数据按行连续存储，所有列的数据都存储在一个block中，不参与计算的列在IO时也要全部读出，读取操作被严重放大。而列存模式下，只需要读取参与计算的列即可，极大的减低了IO开销，加速了查询。

2）同一列中的数据属于同一类型，压缩效果显著。列存储往往有着高达十倍甚至更高的压缩比，节省了大量的存储空间，降低了存储成本。

3）更高的压缩比意味着更小的数据空间，从磁盘中读取相应数据耗时更短。

4）自由的压缩算法选择。不同列的数据具有不同的数据类型，适用的压缩算法也就不尽相同。可以针对不同列类型，选择最合适的压缩算法。

**TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的；  
ORC和PARQUET是基于列式存储的。**

### 主流文件存储格式对比实验 ###

从存储文件的压缩比和查询速度两个角度对比。  
存储文件的压缩比测试：  
**1）TextFile**  
（1）创建表，存储数据格式为TEXTFILE

create table log_text (
    track_time string,
    url string,
    session_id string,
    referer string,
    ip string,
    end_user_id string,
    city_id string
    )
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
    STORED AS TEXTFILE ;

(2) 向表中加载数据

load data local inpath '/export/data/hivedatas/log.data' into table log_text ;

(3) 查看表中数据大小

hadoop fs  -du -h /user/hive/warehouse/myhive.db/log_text;

18.1 M /user/hive/warehouse/log\_text/log.data

**2）ORC**  
（1）创建表，存储数据格式为ORC

create table log_orc(
    track_time string,
    url string,
    session_id string,
    referer string,
    ip string,
    end_user_id string,
    city_id string
    )
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
    STORED AS orc ;

(2) 向表中加载数据

insert into table log_orc select * from log_text ;

(3) 查看表中数据大小

hadoop fs  -du -h /user/hive/warehouse/myhive.db/log_orc;

2.8 M /user/hive/warehouse/log\_orc/123456\_0

**3）Parquet**

（1）创建表，存储数据格式为parquet

create table log_parquet(
    track_time string,
    url string,
    session_id string,
    referer string,
    ip string,
    end_user_id string,
    city_id string
    )
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
    STORED AS PARQUET ;

（2）向表中加载数据

insert into table log_parquet select * from log_text ;

(3) 查看表中数据大小

hdoop fs  -du -h /user/hive/warehouse/myhive.db/log_parquet;

13.1 M /user/hive/warehouse/log\_parquet/123456\_0

**存储文件的压缩比总结：**

**ORC > Parquet > textFile**

存储文件的查询速度测试：

1）TextFile
    hive (default)> select count(*) from log_text;
    _c0
    100000
    Time taken: 21.54 seconds, Fetched: 1 row(s)
    2）ORC
    hive (default)> select count(*) from log_orc;
    _c0
    100000
    Time taken: 20.867 seconds, Fetched: 1 row(s)
    3）Parquet
    hive (default)> select count(*) from log_parquet;
    _c0
    100000
    Time taken: 22.922 seconds, Fetched: 1 row(s)

**存储文件的查询速度总结：**

**ORC > TextFile > Parquet**

### 存储和压缩结合 ###

ORC存储方式的压缩：

<table> 
 <thead> 
  <tr> 
   <th>Key</th> 
   <th>Default</th> 
   <th>Notes</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>orc.compress</td> 
   <td>ZLIB</td> 
   <td>high level compression (one of NONE, ZLIB, SNAPPY)</td> 
  </tr> 
  <tr> 
   <td>orc.compress.size</td> 
   <td>262,144</td> 
   <td>number of bytes in each compression chunk</td> 
  </tr> 
  <tr> 
   <td>orc.stripe.size</td> 
   <td>67,108,864</td> 
   <td>number of bytes in each stripe</td> 
  </tr> 
  <tr> 
   <td>orc.row.index.stride</td> 
   <td>10,000</td> 
   <td>number of rows between index entries (must be &gt;= 1000)</td> 
  </tr> 
  <tr> 
   <td>orc.create.index</td> 
   <td>true</td> 
   <td>whether to create row indexes</td> 
  </tr> 
  <tr> 
   <td>orc.bloom.filter.columns</td> 
   <td>“”</td> 
   <td>comma separated list of column names for which bloom filter should be created</td> 
  </tr> 
  <tr> 
   <td>orc.bloom.filter.fpp</td> 
   <td>0.05</td> 
   <td>false positive probability for bloom filter (must &gt;0.0 and &lt;1.0)</td> 
  </tr> 
 </tbody> 
</table>

**1）创建一个非压缩的的ORC存储方式**

（1）建表语句

create table log_orc_none(
    track_time string,
    url string,
    session_id string,
    referer string,
    ip string,
    end_user_id string,
    city_id string
    )
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
    STORED AS orc tblproperties ("orc.compress"="NONE");

（2）插入数据

insert into table log_orc_none select * from log_text ;

（3）查看插入后数据

hadoop fs -du -h /user/hive/warehouse/myhive.db/log_orc_none;

7.7 M /user/hive/warehouse/log\_orc\_none/123456\_0

**2）创建一个SNAPPY压缩的ORC存储方式**

（1）建表语句

create table log_orc_snappy(
    track_time string,
    url string,
    session_id string,
    referer string,
    ip string,
    end_user_id string,
    city_id string
    )
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
    STORED AS orc tblproperties ("orc.compress"="SNAPPY");

（2）插入数据

insert into table log_orc_snappy select * from log_text ;

（3）查看插入后数据

hadoop fs  -du -h /user/hive/warehouse/myhive.db/log_orc_snappy ;

3.8 M /user/hive/warehouse/log\_orc\_snappy/123456\_0

**3）上一节中默认创建的ORC存储方式，导入数据后的大小为**

2.8 M /user/hive/warehouse/log\_orc/123456\_0  
比Snappy压缩的还小。原因是orc存储文件默认采用**ZLIB压缩。比snappy压缩的小。**

**4）存储方式和压缩总结：**

**在实际的项目开发当中，hive表的数据存储格式一般选择：orc或parquet。压缩方式一般选择snappy。**

# 结束 #

下一篇Hive调优

[Link 1]: https://blog.csdn.net/l848168/article/details/119147380
[http_google.github.io_snappy]: http://google.github.io/snappy/
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASmF2YeW8ueiNr-W6kw_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/84d9f8c5ff8548d08792cbe786e9d027.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASmF2YeW8ueiNr-W6kw_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/d011c5f23a324ec8acf02fac92cd4ae1.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASmF2YeW8ueiNr-W6kw_size_18_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/164a87be079a4dc3b5dde22eb428a75f.png