HIVE SQL编写MR流程，以及JOIN、GROUP BY、DISTINCT的底层执行原理

朴灿烈づ我的快乐病毒、 2023-10-04 18:44 3阅读 0赞

### HIVE SQL编写MR流程，以及JOIN、GROUP BY、DISTINCT的底层执行原理 ###

#### 内容目录 ####

*   *  HIVE SQL编写MR流程，以及JOIN、GROUP BY、DISTINCT的底层执行原理
     *   *  一、编译MR流程
         *  二、HIVE SQL 转为 MR 具体原理
         *   *  1. JOIN
             *  2. GROUP BY
         *  3. DISTINCT

#### 一、编译MR流程 ####

HIVE SQL编译成MR任务是在COMPILER阶段完成的。大致可以分为6个步骤：

1.  词法、语法解析：Antlr 定义 SQL 的语法规则，完成 SQL 词法，语法解析，将 SQL 转化为抽象语法树 AST Tree；
2.  语义解析：遍历 AST Tree，抽象出查询的基本组成单元 QueryBlock；
3.  生成逻辑执行计划：遍历 QueryBlock，翻译为执行操作树 OperatorTree；
4.  优化逻辑执行计划：逻辑层优化器进行 OperatorTree 变换，合并 Operator，达到减少 MapReduce Job，减少数据传输及 shuffle 数据量；
5.  生成物理执行计划：遍历 OperatorTree，翻译为 MapReduce 任务；
6.  优化物理执行计划：物理层优化器进行 MapReduce 任务的变换，生成最终的执行计划。  
    ![在这里插入图片描述][48b4c837684f49568964871a4b53c7c5.png]

#### 二、HIVE SQL 转为 MR 具体原理 ####

> 讲解具体会产生shuffle的操作，JOIN、GROUP BY、COUNT(DISTINCT)

##### 1. JOIN #####

在map的输出value中为不同表的数据打上tag标记，在reduce阶段根据tag判断数据来源。MapReduce的过程如下：  
![在这里插入图片描述][99c452b1370141af8e2d73a47b5c155a.png]

##### 2. GROUP BY #####

![在这里插入图片描述][acbc3877d8964557b2347e71c7615089.png]

#### 3. DISTINCT ####

![在这里插入图片描述][486994552c6546cbb47d4bd8ffd74347.png]

[48b4c837684f49568964871a4b53c7c5.png]: https://img-blog.csdnimg.cn/48b4c837684f49568964871a4b53c7c5.png
[99c452b1370141af8e2d73a47b5c155a.png]: https://img-blog.csdnimg.cn/99c452b1370141af8e2d73a47b5c155a.png
[acbc3877d8964557b2347e71c7615089.png]: https://img-blog.csdnimg.cn/acbc3877d8964557b2347e71c7615089.png
[486994552c6546cbb47d4bd8ffd74347.png]: https://img-blog.csdnimg.cn/486994552c6546cbb47d4bd8ffd74347.png