Hive 架构

今天药忘吃喽~ 2021-11-06 00:18 365阅读 0赞

[Design][]

# 目录 #

*  Hive Architecture （Hive架构）
 *  Hive Data Model（Hives数据模型）
 *  Metastore（元数据）
    
     *  Motivation（动因）
     *  Metadata Objects （元数据对象）
     *  Metastore Architecture （元数据架构）
     *  Metastore Interface（元数据接口）
 *  Hive Query Language（Hive查询语言）
 *  Compiler（编译器）
 *  Optimizer（优化器）
 *  Hive APIs

Figure 1  
![Hive Architecture][]

# Hive Architecture（Hive 架构） #

图1显示了Hive的主要组件及其与Hadoop的交互。如该图所示，Hive的主要组件是：

*  **UI**：用户向系统提交查询和其他操作的用户界面。
 *  **Driver**：接收查询的组件（Component）。这个组件实现了session句柄的概念，并提供了在JDBC/ODBC接口上执行和获取模型化的API。
 *  **Compiler**：解析查询的组件，对不同的查询块（query blocks）和查询表达式(query expressions)进行语义分析，最终在表(元数据表)的帮助下生成执行计划，并从Metastore中查找分区元数据。
 *  **MetaStore**：存储仓库中各种表和分区的所有结构化信息的组件，包括列和列类型信息，读取和写入数据所需的序列化程序和反序列化程序，以及存储数据的相应HDFS文件。
 *  **Execution Engine**：执行编译器创建的执行计划（execution plan）的组件。该计划是一个stage的DAG。执行引擎管理计划的这些不同stage之间的依赖关系，并在适当的系统组件上执行这些stage。

上图中显示了典型的查询如何在系统中流动（flows）。UI调用Driver的执行接口（step 1）。Driver为查询创建会话句柄(session handle)，并将查询发送到Compiler以生成执行计划（step 2）。Compiler从Metastore获取必要的元数据（step 3 and 4）。此元数据用于检查查询树中的表达式以及基于查询判断修剪分区（prune partitions）。由Compiler生成的计划（step 5）是stage的DAG，其中每个stage是map/reduce job，元数据操作或对HDFS的操作。对于map/reduce阶段，计划包含map运算树（在mappers上执行的运算树）和reduce运算树（用于需要reducers的操作）。执行引擎(Execution engine)将这些stage提交给适当的组件（step 6，6.1，6.2和6.3）。在每个Task（mapper/reducer）中与表或中间输出相关联的反序列化用于从HDFS文件中读取行，这些行通过关联的运算树传递。生成输出后，它将通过序列化程序写入临时HDFS文件（如果操作不需要reduce，则会在mapper中发生）。临时文件用于向计划的后续map/reduce阶段提供数据。对于DML(Data Manipulation Language)操作，最终临时文件将移动到表的位置。此方案用于确保不读取脏数据（文件重命名是HDFS中的原子操作）。对于查询，执行引擎直作为来自Driver的提取调用的一部分接从HDFS读取临时文件内容（step 7,8和9）。

# Hive Data Model（Hive 数据模型） #

Hive中的数据分为：

*  **Table**（表）：类似于关系型数据库中的表，雷伊进行过滤(Filtered)、投影（Projected）、连接（Joined）和联合（Unioned）。此外表的所有数据都存储在HDFS的目录中。Hive还支持外表（external table）的概念，其中通过在表创建DDL提供的合适位置上，可以在HDFS中现有的文件或目录上创建表。表中的row被组织为类似于关系型数据库中的columns。
 *  **Partitions**（分区）：每个表可以由一个或多个分区Key，用于确定数据的存储方式，例如，带有日期分区列ds的表T具有存储在HDFS中的 `<table location>/ds=\<date>` 目录中的的定日期的数据的文件。分区允许根据查询判断修建要检查的数据，例如，对于T中满足判断的行感兴趣的查询`T.ds = '2008-09-01'`只需要在HDFS上查看`<table location>/ds=2008-09-01/`目录。
 *  **Buckets**（桶）：每个分区中的数据可以依次根据表中列的散列划分为桶。每个存储桶都作为文件存储在分区目录中。Bucketing允许系统有效地评估依赖于数据样本的查询（这些是在表上使用SAMPLE子句的查询）。

除了原始列类型（整数, 浮点数, 泛型strings, dates 和booleans）之外，Hive还支持array和map。此外，用户可以从任何基元（primitives）、集合（collections）或其他用户定义的类型以编程方式组成自己的类型。typing系统与SerDe（Serailization/Deserialization）和对象检查器接口（object inspectors interfaces）密切相关。用户可以通过实现自己的对象检查器来创建自己的类型，并使用这些对象检查器，可以创建自己的SerDes来将其数据序列化和反序列化为HDFS文件。在理解其他数据格式和更丰富的类型时，这两个接口提供了必要的钩子(hooks)来扩展Hive的功能。像ListObjectInspector这样的内置对象检查器，StructObjectInspector和MapObjectInspector提供必要的原语，以可扩展的方式组成更丰富的类型。对于map和array，提供了有用的内置函数，如大小和索引运算符。点分表示法(dotted notation)用于导航嵌套类型，例如a.b.c = 1查看类型a字段的b字段的c并将其与1进行比较。

# MetaStore（元数据） #

## Motivation（动因） ##

Metastore提供了数据仓库的两个重要但经常被忽视的功能：数据抽象（data abstraction）和数据发现（data discovery）。如果没有Hive中提供的数据抽象，用户必须提供有关数据格式、提取器（extractors）和加载器(loaders)的信息以及查询。在Hive中，此信息在表创建期间给出，并在每次引用表时重用。这与传统的仓储系统非常相似。第二个功能是数据发现，使用户能够发现和探查仓库中的相关和特定的数据。可以使用此元数据构建其他工具，以公开并可能增强有关数据及其可用性的信息。Hive通过提供与Hive查询处理系统紧密集成的元数据存储库来实现这两个功能，以便数据和元数据保持同步。

## Metadata Objects（元数据对象） ##

*  **Databases**\- 是表的namespace。它可以在将来用作管理单元（administrative unit）。数据库’default’用于用户未提供数据库的默认名称的表。
 *  **Table** \- 表的元数据包含列、所有者、存储和SerDe信息的列表。它还可以包含任何用户提供的键和值数据。存储信息包括底层数据的位置、文件输入和输出格式以及存储信息。SerDe元数据包括序列化器和反序列化器（serializer和deserializer）的实现类以及实现所需的任何支持信息。在创建表期间可以提供所有这些信息。
 *  **Partition** \- 每个分区都有自己的列和SerDe和存储信息。这有助于架构更改，而不会影响旧分区。

## Metastore Architecture（元数据架构） ##

Metastore是一个带有数据库或文件备份存储的对象存储。数据库支持的存储是使用称为[DataNucleus][]的对象关系映射（ORM）解决方案实现的。将其存储在关系数据库中的主要目的是元数据的可查询性。使用单独的数据存储而不是使用HDFS的一些缺点是同步和可伸缩性问题。此外，由于缺少对文件的随机更新，因此没有明确的方法在HDFS之上实现对象存储。这一点，再加上关系存储的可查询性的优势，使这种方法变得合情合理。

Metastore可以配置为以两种方式使用：远程和嵌入式。在远程模式下，Metastore是[Thrift][]服务。此模式对非Java客户端非常有用。在嵌入模式下，Hive客户端使用JDBC直接连接到底层的Metastore。此模式很有用，因为它避免了需要维护和监视的另一个系统。这两种模式都可以共存。（更新：本地Metastore是第三种可能性。有关详细信息，请参阅[Hive Metastore Administration][]）

## Metastore Interface ##

Metastore提供[Thrift接口][Thrift 1]来操作和查询Hive元数据。Thrift提供许多流行语言的绑定。第三方工具可以使用此界面将Hive元数据集成到其他业务元数据存储库中。

# Hive Query Language (Hive 查询语言) #

HiveQL是Hive的类似SQL的查询语言。它主要模仿用于创建表的SQL语法，将数据加载到表中以及查询表的SQL语法。 HiveQL还允许用户嵌入他们的自定义map-reduce脚本。这些脚本可以使用简单的基于行的流接口以任何语言编写 - 从标准输入读取行并将行写出到标准输出。这种灵活性的代价是由于将行转换为字符串而导致性能损失。但是，我们已经看到用户不介意这一点，因为他们可以用他们选择的语言实现他们的脚本。 HiveQL的另一个独特功能是多表插入。在此构造中，用户可以使用单个HiveQL查询对相同的输入数据执行多个查询。 Hive优化这些查询以共享输入数据的扫描，从而将这些查询的吞吐量提高几个数量级。由于空间不足，我们省略了更多细节。有关HiveQL语言的更完整描述，请参阅[语言手册][Link 1]。

# Compiler （编译器） #

*  **Parser** （解析器）– 将查询字符串转换成解析树表示。
 *  \*\*Semantic Analyser \*\*（语义分析器）-将解析树转换为内部查询表示，改表示仍然是基于block的，而不是运算符树。作为这个步骤的一部分，将验证列名称并执行类似\*的扩展。此阶段还会执行类型检查和任何隐式类型转换。如果正在考虑的表时分区表（这种是常见的情况），则会收集该表的所有表达式，以便稍后可以使用它们来修剪不需要的分区。如果查询已指定采样，则也会收集该采样以便稍后使用。
 *  **Logical Plan Generator**（逻辑计划生成器） - 将内部查询表示转换为逻辑计划，逻辑计划由运算树组成。一些运算符是关系代数运算符，如’filter’, 'join’等。但是有一些运算符是特定于Hive的，后来用于将此计划转换为一系列map-reduce作业。一个这样的运算符是reduceSink运算符，它出现在map-reduce边界处。此步骤还包括优化器（Optimizer），用于转换计划以提高性能 - 其中一些转换包括：将一系列join转换为单个multi-way join，为分组执行映射端部分聚合，对于group-by,通过分两个阶段来避免单个reducer在存在group key的数据倾斜时成为瓶颈的情况。
 *  **Query Plan Generator**（查询计划生成器）- 将逻辑计划转换为一系列map-reduce任务。递归遍历运算树，将其分解为一系列map-reduce可序列化Task，这些Task稍后可以提交到Hadoop分布式文件系统的map-reduce框架。reduceSink运算符是map-reduce边界，其描述符包含reduction key。如果查询指定了，则计划包含所需的samples/partitions。该计划已序列化并写入文件。

(具体理解可以参考下面是我整理的一张图)  
![hive compiler][]

# Optimizer （编译器） #

优化程序执行更多计划转换。 优化器是一个不断发展的组件。 截至2011年，它基于规则并执行以下操作：列修剪和谓词下推(predicate pushdown)。 但是，基础设施已经到位，正在进行的工作包括其他优化，例如map-side join。 （Hive 0.11添加了几个[join optimizations][]）

优化器可以增强为基于成本的（参见[Cost-based optimization in Hive][] 和[HIVE-5775][]）。 输出表的排序特性也可以保留并在以后用于生成更好的计划。 可以对少量数据样本执行查询以猜测数据分布，这可以用于生成更好的计划。

在Hive 0.12中添加了[correlation optimizer][]（关联优化器）。

该计划是通用运算树，并且可以轻松操作。

# Hive APIs #

[Hive API概述][Hive API]描述了Hive提供的各种面向公共的API。

[Design]: https://cwiki.apache.org/confluence/display/Hive/Design
[Hive Architecture]: /images/20211104/e671ff81a22f4c37bff0f619d0f99f6f.png
[DataNucleus]: http://www.datanucleus.org/
[Thrift]: https://thrift.apache.org/
[Hive Metastore Administration]: https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin
[Thrift 1]: https://thrift.apache.org/docs/idl
[Link 1]: https://cwiki.apache.org/confluence/display/Hive/LanguageManual
[hive compiler]: /images/20211104/8f09612858a34b888ab0d0732f87ea16.png
[join optimizations]: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+JoinOptimization
[Cost-based optimization in Hive]: https://cwiki.apache.org/confluence/display/Hive/Cost-based+optimization+in+Hive
[HIVE-5775]: https://issues.apache.org/jira/browse/HIVE-5775
[correlation optimizer]: https://cwiki.apache.org/confluence/display/Hive/Correlation+Optimizer
[Hive API]: https://cwiki.apache.org/confluence/display/Hive/Hive+APIs+Overview