大数据列式存储 Parquet 和 ORC 简介

以你之姓@ 2022-04-24 14:22 837阅读 0赞

# 大数据列式存储 #

## 背景 ##

随着大数据 Hadoop/Spark 生态的不断发展和成熟，TextFile、CSV这些文本格式存储效率低，查询速度慢，往往不能很好地满足大数据系统中存储和查询的需求，列式存储也在大数据社区逐渐兴起到成熟。目前，使用比较广泛的列式存储主要是 Apache Parquet 和 Apache ORC，Parquet 由谷歌的 Dremel 发展而来，由Twitter 贡献给社区，ORC 则是由 Hive 的 RC File 发展而来，从Hive项目中独立出来，二者目前都是比较活跃的列式存储项目。

## 什么是列式存储 ##

传统的数据编码方式是以行为单位进行，列式存储则是将数据划分成数据块，每个数据块内部按列的方式进行编码存储，通过使用列式存储会有以下好处：

*  存储效率更高，因为同一列的数据类型一致，编码效率也会更高
 *  查询效率更高，利用列式存储的统计信息，可以跳过大量的数据，减少IO压力

## Parquet 和 ORC的基本对比 ##

![image][]

## Parquet 和 ORC的编码效率对比 ##

### 什么是编码 ###

列式存储在存储数据时，为了提高压缩效率，会进行一些编码操作，如图所示。  
![image][image 1]

### 常见的编码方式 ###

*  Run-length encoding(RLE)
 *  Dictionary
 *  Bitpacking
 *  Zigzag for signed

### Parquet 和 ORC编码对比 ###

![image][image 2]

### 使用TPC数据集的测试结果 ###

分别使用相同的 TPC 数据集进行测试，从压缩效率上讲，数据库大小越小，压缩效率越好。这里 ORC 使用 Zlib 压缩, Parquet 使用 Gzip 压缩。

*  TPC-BB and TPC-DS Decimal 版本下，ORC 比 Parquet 占用空间节省大约 10%；
 *  TPC-DS Double版本下，Parquet 的使用的空间节省 2% 左右。  
    ![image][image 3]

TPC-DS(Decimal Version): [https://github.com/cloudera/impala-tpcds-kit][https_github.com_cloudera_impala-tpcds-kit]  
TPC-DS(Double Version): [https://github.com/hortonworks/hive-testbench][https_github.com_hortonworks_hive-testbench]  
TPCx-BB: [http://www.tpc.org/tpcx-bb/][http_www.tpc.org_tpcx-bb]

### 附：Parquet 和 ORC Encoding的实现细节对比 ###

#### Parquet 的Integer编码实现 ####

Parquet 的 Integer的是通过字典的编码方式存储的，为了防止字典过大，超过字典上限后，则通过其他方式存储。

<table> 
 <thead> 
  <tr> 
   <th>版本</th> 
   <th>默认存储</th> 
   <th>补充存储</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>PARQUET_V1</td> 
   <td>字典</td> 
   <td>PLAIN</td> 
  </tr> 
  <tr> 
   <td>PARQUET_V2</td> 
   <td>字典</td> 
   <td>DeltaBinaryPacking</td> 
  </tr> 
 </tbody> 
</table>

PARQUET\_V1 和 PARQUET\_V2 是 Parquet 内部使用的版本，可以通过相应的参数进行选择。

##### Parquet 字典的实现 #####

在实际存储时，数据库会有大量重复的值，这时字典的效率还是不错的，不够，目前的 Parquet实现还有两个问题

*  字典是明文存储，没有编码，浪费存储空间；
 *  字典编号是使用RLE编码，但是编码效率还有提升空间。  
    ![image][image 4]

##### Parquet 的 DeltaBinaryPacking #####

Parquet 的 DeltaBinaryPacking 的实现参考了以下博客，具体的格式如图。  
[http://lemire.me/blog/archives/2012/09/12/fast-integer-compression-decoding-billions-of-integers-per-second/][http_lemire.me_blog_archives_2012_09_12_fast-integer-compression-decoding-billions-of-integers-per-second]  
![image][image 5]

#### ORC 的 Integer 编码实现 ####

##### ORC Integer 在 0.11 及之前的版本 #####

HIVE在 0.11 及之前的版本的实现比较简单，只覆盖了重复值优化的场景，具体格式如图  
![image][image 6]

原始值： 6,6,6,6,6,6,13,17  
编码后： 3,0,6,-2,13,17

##### ORC Integer 在 0.12的版本 #####

HIVE在 0.12之后做了比较好的优化，可以覆盖常见的四种场景，效果也会比较好

*  **SHORT\_REPEAT** : Short repeated integer sequences.
 *  **DELTA** : Monotonically increasing or decreasing sequences, sequences with fixed delta values or long

1.  sequences.

*  **DIRECT** : Random integer sequences whose number of bit requirement doesn't vary a lot
 *  **PATCHED\_BASE** : Random integer sequences whose number of bit requirement varies beyond a  
    threshold.

**原创文章，如需转载，请先联系作者 dapeng.sdp\#alibaba-inc.com**  
欢迎加入Apache Spark中国技术社区参与更多直播、讨论

![image][image 7]

[image]: /images/20220214/c411a004edd74e769848dcf089a85cd8.png
[image 1]: /images/20220214/aef0b1acd51e4086b3211e1bc721715b.png
[image 2]: /images/20220214/c2344411ed094a03a70654b2f3a2ec50.png
[image 3]: /images/20220214/515848ea536a4d17941187335d694955.png
[https_github.com_cloudera_impala-tpcds-kit]: https://github.com/cloudera/impala-tpcds-kit
[https_github.com_hortonworks_hive-testbench]: https://github.com/hortonworks/hive-testbench
[http_www.tpc.org_tpcx-bb]: http://www.tpc.org/tpcx-bb/
[image 4]: /images/20220214/932ade51c57b47728ad3c71161744759.png
[http_lemire.me_blog_archives_2012_09_12_fast-integer-compression-decoding-billions-of-integers-per-second]: http://lemire.me/blog/archives/2012/09/12/fast-integer-compression-decoding-billions-of-integers-per-second/
[image 5]: /images/20220214/cc096520563d4bb89ae5cc337a6c33f1.png
[image 6]: /images/20220214/47d21175dc7345848c435b2e23c1b905.png
[image 7]: /images/20220214/19f3791dd7b840e0b7c613f497fc269c.png