parquet文件格式解析

怼烎@ 2023-02-13 14:37 3阅读 0赞

> 参考资料:  
> https://parquet.apache.org/documentation/latest/  
> https://www.jianshu.com/p/47b39ae336d5

# 前言 #

Apache Parquet是Hadoop生态系统中任何项目均可使用的列式存储格式，由于OLAP场景下的数据大部分情况下都是批量导入，基本上不需要支持单条记录的增删改操作，而查询的时候大多数都是只使用部分列进行过滤、聚合，所以列式存储在这种场景下效率很高

# 原理解析 #

##### 1、名词解释 #####

File：hdfs文件，必须包含该文件的元数据。

Row group(行组)：对数据进行水平的划分分区，不保证其数据结构。行组有一定的行数，一个行组包含这个行组对应的区间内的所有列的列块。

Column chunk (列块):在一个行组中每一列保存在一个列块中，行组中的所有列连续的存储在这个行组文件中。并且数据保证在文件中是连续的。

page(页):每一个列块划分为多个页，页面是不可分割的单元（就压缩和编码而言）。列块中可以插入多种页面类型。

从层次上讲，文件由一个或多个行组组成。行组每列仅包含一个列块。列块包含一个或多个page。

##### 2、具体结构 #####

![image.png][]  
如上面所示 一个fILE包含多个行组，一个行组中包含多个列块，一个列块中包含多个page。  
元数据包含着对于file文件中的行组和列快的一些信息，包含偏移量，基本类型等

元数据和data 是分开的，这样允许单个元数据文件引用多个parquet file。

##### 2、读取计算过程 #####

在读取数据的时候，我们可以看到上面结构图，元数据还存有着偏移量，num values等信息，比如我们在统计列行数以及max 等专门对列的操作的话，读取元数据，然后根据元数据寻找指定的列块进行读取计算，这样就大大提高了效率。

# 列式存储的优势 #

列式存储可以大大提升这类查询的性能，较之于行是存储，列式存储能够带来这些优化：

1、查询的时候不需要扫描全部的数据，而只需要读取每次查询涉及的列，这样可以将I/O消耗降低N倍，另外可以保存每一列的统计信息(min、max、sum等)，实现部分的谓词下推。  
2、由于每一列的成员都是同构的，可以针对不同的数据类型使用更高效的数据压缩算法，进一步减小I/O。  
3、由于每一列的成员的同构性，可以使用更加适合CPU pipeline的编码方式，减小CPU的缓存失效。

# 实际应用 #

我们在做BI的时候用的时候用的sparkThriftserver，刚开始表存储是用的CSV格式，后续为了提升效率用的CSV,提升了效率大约2,3倍，而且存储空间也减少了很多。不过hive和sparkThriftserver，spark 也完美兼容parquet，在日常应用中来提升效率。

[image.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNDcyNzkzNi1hYTgxN2NjNWNhNWQxMDRkLnBuZw?x-oss-process=image/format,png