hive压缩格式

末蓝、 2023-06-22 13:55 3阅读 0赞

**Table of Contents**

ORC Files

ORC 文件格式

文件结构

Stripe Structure

HiveQL Syntax hivesql语法

Serialization and Compression 序列化和压缩

Integer Column Serialization 整型列序列化

String Column Serialization 字符串列序列化

Compression 压缩

ORC 文件转储实用程序

ORC 配置参数

ORC 格式说明

AvroSerDe

版本

Avro 到 Hive 类型转换

创建avro支持的Hive表

Writing tables to Avro files

指定表的Avro模式

Parquet

HiveQL Syntax

Hive 0.10 - 0.12

Hive 0.13 and later

--------------------

# ORC Files #

## ORC 文件格式 ##

优化的Row Columnar (ORC)文件格式提供了一种高效存储Hive数据的方法。它的设计是为了克服其他Hive文件格式的限制。**当Hive读取、写入和处理数据时，使用ORC文件可以提高性能。**

例如，与RCFile格式相比，ORC文件格式有很多优点，比如：

*  单个文件作为每个任务的输出，这减少了NameNode的负载
 *  Hive类型支持包括 datetime、decimal 和复杂类型(struct, list, map, and union)
 *  文件中存储的轻量级索引：不传递筛选过的行数据；寻找指定的行
 *  基于数据类型的块模式压缩：整数列的长度进行编码；字符串列的字典编码
 *  使用单独的 recordreader 并发读取同一个文件
 *  能够分割文件，而不扫描标记
 *  限制读写所需的内存
 *  使用协议缓冲区存储的元数据，允许添加和删除字段

### 文件结构 ###

ORC 文件包含一组称为 stripes 的行数据，以及文件页脚中的辅助信息。在文件的末尾，postscript 保存压缩参数和压缩页脚的大小。

默认 stripe 的大小为 250 MB，启用更大的 stripe 可以读取 HDFS 文件。

该图展示了ORC的文件结构：

![format_png][]

### Stripe Structure ###

如图所示，ORC文件中的每个条带都包含 index data, row data, and a stripe footer。

**stripe footer **包含一个流位置目录。**Row data **用于表扫描。

**Index data **包括每一列的最小值和最大值，以及每一列中的行位置。(也可以包括位段或布隆过滤器。)行索引项提供了偏移量，能够在解压缩块内查找正确的压缩块和字节。注意，ORC索引仅用于选择 stripe 和 row group，而不用于回答查询。

拥有相对频繁的行索引项可以在 stripe 中跳过行，以便快速读取，尽管条带的大小很大。默认情况下，每次可以跳过10,000行。

通过基于筛选器谓词跳过大量行集的能力，您可以对表的辅助键进行排序，从而大大减少执行时间。例如，如果主分区是事务日期，那么可以根据状态、邮政编码和姓氏对表进行排序。然后在一个状态中查找记录将跳过所有其他状态的记录。

## HiveQL Syntax hivesql语法 ##

文件格式在表(或分区)级别指定。你可以用 HiveSQL 语句来指定 ORC 文件格式，例如：

*  `CREATE TABLE ... STORED AS ORC`
 *  `ALTER TABLE ... [PARTITION partition_spec] SET FILEFORMAT ORC`
 *  `SET hive.default.fileformat=Orc`

所有参数都放在 TBLPROPERTIES中。它们是：

<table> 
 <tbody> 
 <tr> 
 <th> Key </th> 
 <th> Default </th> 
 <th> Notes </th> 
 </tr> 
 <tr> 
 <td> orc.compress </td> 
 <td> ZLIB </td> 
 <td> high level compression (one of NONE, ZLIB, SNAPPY) </td> 
 </tr> 
 <tr> 
 <td> orc.compress.size </td> 
 <td> 262,144 </td> 
 <td> number of bytes in each compression chunk </td> 
 </tr> 
 <tr> 
 <td> orc.stripe.size </td> 
 <td> 67,108,864 </td> 
 <td> number of bytes in each stripe </td> 
 </tr> 
 <tr> 
 <td> orc.row.index.stride </td> 
 <td> 10,000 </td> 
 <td> number of rows between index entries (must be &gt;= 1000) </td> 
 </tr> 
 <tr> 
 <td> orc.create.index </td> 
 <td> true </td> 
 <td> whether to create row indexes是否创建行索引 </td> 
 </tr> 
 <tr> 
 <td colspan="1">orc.bloom.filter.columns</td> 
 <td colspan="1">""</td> 
 <td colspan="1">逗号分隔的列名列表，应该为其创建bloom过滤器</td> 
 </tr> 
 <tr> 
 <td colspan="1">orc.bloom.filter.fpp</td> 
 <td colspan="1">0.05</td> 
 <td colspan="1">false positive probability for bloom filter (must &gt;0.0 and &lt;1.0)</td> 
 </tr> 
 </tbody> 
</table>

例如，创建一个没有压缩的 ORC 存储表：

create table Addresses (
      name string,
      street string,
      city string,
      state string,
      zip int
    ) stored as orc tblproperties ("orc.compress"="NONE");

## Serialization and Compression 序列化和压缩 ##

ORC文件中列数据的序列化取决于数据类型是整数还是字符串。

### Integer Column Serialization 整型列序列化 ###

整数列在两个流中序列化。

1.  *present* bit stream：值是否非空?
2.  data stream：整数流

整数数据序列化的方式利用了数字的公共分布：

*  整数编码使用的是变宽编码，小整数的字节更少。
 *  重复的值是使用长度编码。
 *  在范围(-128到127)内相差一个常数的值使用长编码

可变宽度编码基于谷歌的协议缓冲区，并使用高位来表示该字节是否是最后一个字节，使用低7位来编码数据。为了对负数进行编码，在0、-1、1、-2和2分别映射成0、1、2、3、4和5的地方使用 zigzag 编码。

每组数字都是这样编码的：

*  如果第一个字节(b0)是负数：-b0随后是可变长度整数。
 *  如果第一个字节(b0)为正：它表示b0 + 3个重复整数；第二个字节(-128到+127)在每次重复之间添加；1变长整数。

在运行长度编码中，第一个字节指定运行长度以及值是文本还是副本。可以在-128到+128 之间重复。运行长度编码使用protobuf样式的可变整数。

### String Column Serialization 字符串列序列化 ###

字符串列的序列化使用字典来形成惟一的列值。字典快速排序过滤和提高压缩比。

字符串列在四个流中序列化：

1.  *present* bit stream: 值是非空的吗?
2.  dictionary data:字符串的字节
3.  dictionary length: 每个条目的长度
4.  row data: 行值

字典长度和行值都是运行长度编码的整数流。

### Compression 压缩 ###

流使用编解码器进行压缩，编解码器指定为该表中所有流的表属性。为了优化内存使用，压缩是随着每个块的产生而递增的。压缩块可以跳过，而不必先解压缩扫描。流中的位置由块的起始位置和块的偏移量表示。

编解码器可以是Snappy、Zlib或none。

## ORC 文件转储实用程序 ##

ORC文件转储实用程序分析ORC文件。要调用它，请使用以下命令：

// Hive version 0.11 through 0.14:
 hive --orcfiledump <location-of-orc-file>
 
 // Hive version 1.1.0 and later:
 hive --orcfiledump [-d] [--rowindex <col_ids>] <location-of-orc-file>
 
 // Hive version 1.2.0 and later:
 hive --orcfiledump [-d] [-t] [--rowindex <col_ids>] <location-of-orc-file>
 
 // Hive version 1.3.0 and later:
 hive --orcfiledump [-j] [-p] [-d] [-t] [--rowindex <col_ids>] [--recover] [--skip-dump] 
 [--backup-path <new-path>] <location-of-orc-file-or-directory>

Specifying `-d` 将导致它转储 ORC 文件数据而不是元数据 (Hive [1.1.0][] and later).

Specifying `--rowindex` 使用逗号分隔的列id列表将导致打印指定列的行索引，其中0是包含所有列的顶层结构，1是第一列id (Hive [1.1.0][] and later).

Specifying `-t` 在命令中将打印写入器的时区id。

Specifying `-j` 在命令中将以JSON格式打印ORC文件元数据。为了更好地打印JSON元数据，可以在命令中添加 -p。

Specifying `--recover` 在命令中将恢复损坏的ORC文件所产生的 Hive streaming.

Specifying `--skip-dump` 与 --recovery 一起执行恢复，而不转储元数据。

Specifying `--backup-path` 使用新路径将允许恢复工具将损坏的文件移动到指定的备份路径 (default: /tmp).

*<location-of-orc-file> *是ORC文件的URI。

*<location-of-orc-file-or-directory>* 是ORC文件或目录的URI。从Hive 1.3.0开始，这个URI可以是一个包含ORC文件的目录。

## ORC 配置参数 ##

## ORC 格式说明 ##

# AvroSerDe #

AvroSerde 允许用户以 Hive 表的形式读写 Avro 数据。AvroSerde 的要点：

*  从 Avro 模式推断 Hive 表的模式。从 Hive 0.14开始，Avro 模式可以从 Hive 表模式中推断出来。
 *  根据指定的模式读取表中的所有Avro文件，利用Avro的向后兼容性
 *  支持任意嵌套模式。
 *  将所有 Avro 数据类型转换为等效的 Hive 类型。大多数类型映射精确，但有些 Avro 类型不存在于 Hive 中，由 AvroSerde 自动转换。
 *  理解压缩的 Avro 文件。
 *  透明地将处理可空类型(如Union\[T, null\])的Avro惯例转换为仅T，并在适当时返回null。
 *  将任何Hive表写入 Avro 文件。
 *  在我们的 ETL 过程中对我们最复杂的 Avro 模式进行了可靠的工作。
 *  从 Hive 0.14开始，可以使用 Alter table 语句将列添加到 Avro 支持的 Hive 表中。

## 版本 ##

## Avro 到 Hive 类型转换 ##

<table> 
 <tbody> 
 <tr> 
 <td> null </td> 
 <td> void </td> 
 </tr> 
 <tr> 
 <td> boolean </td> 
 <td> boolean </td> 
 </tr> 
 <tr> 
 <td> int </td> 
 <td> int </td> 
 </tr> 
 <tr> 
 <td> long </td> 
 <td> bigint </td> 
 </tr> 
 <tr> 
 <td> float </td> 
 <td> float </td> 
 </tr> 
 <tr> 
 <td> double </td> 
 <td> double </td> 
 </tr> 
 <tr> 
 <td> bytes </td> 
 <td> binary </td> 
 <td>在Hive 0.12.0之前，字节被转换为数组[smallint]。</td> 
 </tr> 
 <tr> 
 <td> string </td> 
 <td> string </td> 
 </tr> 
 <tr> 
 <td> record </td> 
 <td> struct </td> 
 </tr> 
 <tr> 
 <td> map </td> 
 <td> map </td> 
 </tr> 
 <tr> 
 <td> list </td> 
 <td> array </td> 
 </tr> 
 <tr> 
 <td> union </td> 
 <td> union </td> 
 <td>[T, null]的联合透明地转换为可空的T，其他类型直接转换为Hive的这些类型的联合。然而，联合是在Hive 7中引入的，目前还不能在where/group-by语句中使用。它们实际上只是“看”。因为AvroSerde透明地将[T,null]转换为可空的T，所以这个限制只适用于多个类型的联合，或者不适用单个类型的联合和null。</td> 
 </tr> 
 <tr> 
 <td> enum </td> 
 <td> string </td> 
 <td>Hive没有enum的概念。</td> 
 </tr> 
 <tr> 
 <td> fixed </td> 
 <td> binary </td> 
 <td>Fixeds在Hive 0.12.0之前转换为Array[smallint]。</td> 
 </tr> 
 </tbody> 
</table>

## 创建avro支持的Hive表 ##

avro支持的表可以在Hive中使用AvroSerDe创建。

**All Hive versions**

CREATE TABLE kst
      PARTITIONED BY (ds string)
      ROW FORMAT SERDE
      'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
      STORED AS INPUTFORMAT
      'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
      OUTPUTFORMAT
      'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
      TBLPROPERTIES (
        'avro.schema.url'='http://schema_provider/kst.avsc');

在本例中，我们从一个web服务器提取了事实来源阅读器模式。下面描述了提供模式的其他选项。

使用标准的Hive操作将Avro文件添加到数据库中(或创建一个外部表)

该表可得出如下说明：

hive> describe kst;
 OK
 string1 string from deserializer
 string2 string from deserializer
 int1 int from deserializer
 boolean1 boolean from deserializer
 long1 bigint from deserializer
 float1 float from deserializer
 double1 double from deserializer
 inner_record1 struct<int_in_inner_record1:int,string_in_inner_record1:string> from deserializer
 enum1 string from deserializer
 array1 array<string> from deserializer
 map1 map<string,string> from deserializer
 union1 uniontype<float,boolean,string> from deserializer
 fixed1 binary from deserializer
 null1 void from deserializer
 unionnullint int from deserializer
 bytes1 binary from deserializer

此时，avro支持的表可以像其他表一样在Hive中使用。

**Hive 0.14 and later versions**

从 Hive 0.14开始，AVRO 支持的表可以简单地通过在DDL语句中使用“STORED AS AVRO”来创建。AvroSerDe 负责从 Hive 表模式创建适当的 Avro 模式，这是在 Hive 中 Avro 可用性方面的一大进步：

CREATE TABLE kst (
 string1 string,
 string2 string,
 int1 int,
 boolean1 boolean,
 long1 bigint,
 float1 float,
 double1 double,
 inner_record1 struct<int_in_inner_record1:int,string_in_inner_record1:string>,
 enum1 string,
 array1 array<string>,
 map1 map<string,string>,
 union1 uniontype<float,boolean,string>,
 fixed1 binary,
 null1 void,
 unionnullint int,
 bytes1 binary)
 PARTITIONED BY (ds string)
 STORED AS AVRO;

该表可得出如下说明：

### Writing tables to Avro files ###

AvroSerde 可以将任何 Hive 表序列化为 Avro 文件。这使得它成为一个有效的任何分组类型的Avro转换器。为了将表写入 Avro 文件，您必须首先创建一个适当的 Avro 模式(Hive 0.14.0及以后版本除外，如下所述)。当前不支持创建 select 类型语句。

类型转换如上表所示。对于不能直接翻译的类型，有几项需要记住：

*  可能为空的类型必须定义为该类型与Avro中的null的联合。未如此定义的字段中的null将在保存期间导致异常。不需要对Hive模式进行任何更改来支持这一点，因为Hive中的所有字段都可以为空。
 *  Avro 字节类型应该在 Hive 中定义为小int的列表。AvroSerde将在保存过程中将这些转换为字节。
 *  Avro 固定类型应该在 Hive 中定义为小int的列表。AvroSerde将在保存过程中将这些转换为Fixed。
 *  Avro 枚举类型应该在 Hive 中定义为字符串，因为 Hive 没有枚举的概念。确保表中只有有效的 enum 值—尝试保存未定义的 enum 将导致异常。

Hive对类型非常宽容:它将尝试将与提供的列匹配的值存储在新表的等效列位置。例如，对列名不进行匹配。因此，查询作者有责任确保目标列类型是正确的。如果不是，Avro可能接受该类型或抛出异常;这取决于类型的特定组合。

考虑下面的Hive表，它涵盖了所有类型的Hive数据类型，使它成为一个很好的例子：

CREATE TABLE test_serializer(string1 STRING,
 int1 INT,
 tinyint1 TINYINT,
 smallint1 SMALLINT,
 bigint1 BIGINT,
 boolean1 BOOLEAN,
 float1 FLOAT,
 double1 DOUBLE,
 list1 ARRAY<STRING>,
 map1 MAP<STRING,INT>,
 struct1 STRUCT<sint:INT,sboolean:BOOLEAN,sstring:STRING>,
 union1 uniontype<FLOAT, BOOLEAN, STRING>,
 enum1 STRING,
 nullableint INT,
 bytes1 BINARY,
 fixed1 BINARY)
 ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' COLLECTION ITEMS TERMINATED BY ':' MAP KEYS TERMINATED BY '#' LINES TERMINATED BY '\n'
 STORED AS TEXTFILE;

如果表格由csv档案支援，例如：

<table> 
 <tbody> 
 <tr> 
 <td> why hello there </td> 
 <td> 42 </td> 
 <td> 3 </td> 
 <td> 100 </td> 
 <td> 1412341 </td> 
 <td> true </td> 
 <td> 42.43 </td> 
 <td> 85.23423424 </td> 
 <td> alpha:beta:gamma </td> 
 <td> Earth#42:Control#86:Bob#31 </td> 
 <td> 17:true:Abe Linkedin </td> 
 <td> 0:3.141459 </td> 
 <td> BLUE </td> 
 <td> 72 </td> 
 <td> ^A^B^C </td> 
 <td> ^A^B^C </td> 
 </tr> 
 <tr> 
 <td> another record </td> 
 <td> 98 </td> 
 <td> 4 </td> 
 <td> 101 </td> 
 <td> 9999999 </td> 
 <td> false </td> 
 <td> 99.89 </td> 
 <td> 0.00000009 </td> 
 <td> beta </td> 
 <td> Earth#101 </td> 
 <td> 1134:false:wazzup </td> 
 <td> 1:true </td> 
 <td> RED </td> 
 <td> NULL </td> 
 <td> ^D^E^F^G </td> 
 <td> ^D^E^F </td> 
 </tr> 
 <tr> 
 <td> third record </td> 
 <td> 45 </td> 
 <td> 5 </td> 
 <td> 102 </td> 
 <td> 999999999 </td> 
 <td> true </td> 
 <td> 89.99 </td> 
 <td> 0.00000000000009 </td> 
 <td> alpha:gamma </td> 
 <td> Earth#237:Bob#723 </td> 
 <td> 102:false:BNL </td> 
 <td> 2:Time to go home </td> 
 <td> GREEN </td> 
 <td> NULL </td> 
 <td> ^H </td> 
 <td> ^G^H^I </td> 
 </tr> 
 </tbody> 
</table>

然后你可以把它写出来，Avro如下所述。

**All Hive versions**

为了将该表保存为Avro文件，创建一个等价的Avro模式(记录的名称空间和实际名称并不重要)：

{
      "namespace": "com.linkedin.haivvreo",
      "name": "test_serializer",
      "type": "record",
      "fields": [
        { "name":"string1", "type":"string" },
        { "name":"int1", "type":"int" },
        { "name":"tinyint1", "type":"int" },
        { "name":"smallint1", "type":"int" },
        { "name":"bigint1", "type":"long" },
        { "name":"boolean1", "type":"boolean" },
        { "name":"float1", "type":"float" },
        { "name":"double1", "type":"double" },
        { "name":"list1", "type":{"type":"array", "items":"string"} },
        { "name":"map1", "type":{"type":"map", "values":"int"} },
        { "name":"struct1", "type":{"type":"record", "name":"struct1_name", "fields": [
              { "name":"sInt", "type":"int" }, { "name":"sBoolean", "type":"boolean" }, { "name":"sString", "type":"string" } ] } },
        { "name":"union1", "type":["float", "boolean", "string"] },
        { "name":"enum1", "type":{"type":"enum", "name":"enum1_values", "symbols":["BLUE","RED", "GREEN"]} },
        { "name":"nullableint", "type":["int", "null"] },
        { "name":"bytes1", "type":"bytes" },
        { "name":"fixed1", "type":{"type":"fixed", "name":"threebytes", "size":3} }
      ] }

然后可以写入表：

CREATE TABLE as_avro
      ROW FORMAT SERDE
      'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
      STORED as INPUTFORMAT
      'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
      OUTPUTFORMAT
      'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
      TBLPROPERTIES (
        'avro.schema.url'='file:///path/to/the/schema/test_serializer.avsc');
      
    INSERT OVERWRITE TABLE as_avro SELECT * FROM test_serializer;

**Hive 0.14 and later**

在Hive版本0.14或更高版本中，您不需要手动创建Avro模式。上面所示的将表保存为Avro文件的过程简化为DDL语句，然后插入到表中。

CREATE TABLE as_avro(string1 STRING,
 int1 INT,
 tinyint1 TINYINT,
 smallint1 SMALLINT,
 bigint1 BIGINT,
 boolean1 BOOLEAN,
 float1 FLOAT,
 double1 DOUBLE,
 list1 ARRAY<STRING>,
 map1 MAP<STRING,INT>,
 struct1 STRUCT<sint:INT,sboolean:BOOLEAN,sstring:STRING>,
 union1 uniontype<FLOAT, BOOLEAN, STRING>,
 enum1 STRING,
 nullableint INT,
 bytes1 BINARY,
 fixed1 BINARY)
 STORED AS AVRO;
 INSERT OVERWRITE TABLE as_avro SELECT * FROM test_serializer;

**Avro文件扩展名**

由 Hive 作业写入的文件是有效的 Avro 文件，但是 MapReduce 没有添加标准的. Avro扩展名。如果您将这些文件复制出来，您可能希望用.avro重命名它们。

### 指定表的Avro模式 ###

有三种方法可以为Avro表提供reader模式，它们都涉及到serde的参数。随着模式的发展，您可以通过更新表中的参数来更新这些值。

**Use avro.schema.url**

指定访问模式的URL。对于http模式，这适用于测试和小型集群，但由于该模式将从作业中的每个任务至少访问一次，因此这可能很快将该作业转换为针对URL提供程序(例如，web服务器)的DDOS攻击。在测试之外的任何情况下使用此参数时都要小心。

模式还可以指向HDFS上的一个位置，例如:HDFS://your-nn:9000/path/to/avsc/file。AvroSerde随后将从HDFS读取文件，这将提供一次多次读取的弹性。注意，serde将从每个映射器读取这个文件，因此最好将模式文件的复制转换为高值，以便为读者提供良好的局部性。模式文件本身应该相对较小，因此不会给流程增加大量的开销。

**Use avro.schema.literal and pass the schema into the script**

您可以将模式直接嵌入到create语句中。如果模式没有任何单引号(或者它们被适当地转义)，这就可以工作，因为Hive使用这个来定义参数值。例如:

CREATE TABLE embedded
      COMMENT "just drop the schema right into the HQL"
      ROW FORMAT SERDE
      'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
      STORED AS INPUTFORMAT
      'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
      OUTPUTFORMAT
      'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
      TBLPROPERTIES (
        'avro.schema.literal'='{
          "namespace": "com.howdy",
          "name": "some_schema",
          "type": "record",
          "fields": [ { "name":"string1","type":"string"}]
        }');

注意，该值用单引号括起来，并粘贴到create语句中。

Hive可以进行简单的变量替换，可以将嵌入在变量中的模式传递给脚本。注意，要做到这一点，模式必须完全转义(将回车转换为\\n，将制表符转换为\\t，将引号转义，等等)。一个例子:

set hiveconf:schema;
    DROP TABLE example;
    CREATE TABLE example
      ROW FORMAT SERDE
      'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
      STORED AS INPUTFORMAT
      'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
      OUTPUTFORMAT
      'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
      TBLPROPERTIES (
        'avro.schema.literal'='${hiveconf:schema}');

要执行这个脚本文件，假设$SCHEMA被定义为转义的模式值:

hive --hiveconf schema="${SCHEMA}" -f your_script_file.sql

注意，$SCHEMA内插到引号中以正确处理模式中的空格。

**Use none to ignore either avro.schema.literal or avro.schema.url**

Hive 不提供取消设置或删除属性的简单方法。如果您希望从使用 URL 或模式切换到使用另一种模式，请将要忽略的值设置为none, AvroSerde会将其视为未设置值。

# Parquet #

## HiveQL Syntax ##

### Hive 0.10 - 0.12 ###

CREATE TABLE parquet_test (
 id int,
 str string,
 mp MAP<STRING,STRING>,
 lst ARRAY<STRING>,
 strct STRUCT<A:STRING,B:STRING>) 
 PARTITIONED BY (part string)
 ROW FORMAT SERDE 'parquet.hive.serde.ParquetHiveSerDe'
 STORED AS
 INPUTFORMAT 'parquet.hive.DeprecatedParquetInputFormat'
 OUTPUTFORMAT 'parquet.hive.DeprecatedParquetOutputFormat';

### Hive 0.13 and later ###

CREATE TABLE parquet_test (
 id int,
 str string,
 mp MAP<STRING,STRING>,
 lst ARRAY<STRING>,
 strct STRUCT<A:STRING,B:STRING>) 
 PARTITIONED BY (part string)
 STORED AS PARQUET;

原文地址：

[https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC][https_cwiki.apache.org_confluence_display_Hive_LanguageManual_ORC]

[https://cwiki.apache.org/confluence/display/Hive/AvroSerDe][https_cwiki.apache.org_confluence_display_Hive_AvroSerDe]

[https://cwiki.apache.org/confluence/display/Hive/Parquet][https_cwiki.apache.org_confluence_display_Hive_Parquet]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jd2lraS5hcGFjaGUub3JnL2NvbmZsdWVuY2UvZG93bmxvYWQvYXR0YWNobWVudHMvMzE4MTg5MTEvT3JjRmlsZUxheW91dC5wbmc?x-oss-process=image/format,png
[1.1.0]: https://issues.apache.org/jira/browse/HIVE-7896
[https_cwiki.apache.org_confluence_display_Hive_LanguageManual_ORC]: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC
[https_cwiki.apache.org_confluence_display_Hive_AvroSerDe]: https://cwiki.apache.org/confluence/display/Hive/AvroSerDe
[https_cwiki.apache.org_confluence_display_Hive_Parquet]: https://cwiki.apache.org/confluence/display/Hive/Parquet