spark系列15:catalyst使用介绍与演示

女爷i 2022-11-10 14:20 212阅读 0赞

## 1.Catalyst 优化器 ##

目标

1.  理解 `SparkSQL` 和以 `RDD` 为代表的 `SparkCore` 最大的区别
2.  理解优化器的运行原理和作用

### 1. RDD 和 SparkSQL 运行时的区别 ###

`RDD` 的运行流程

![1e627dcc1dc31f721933d3e925fa318b][]

大致运行步骤

先将 `RDD` 解析为由 `Stage` 组成的 `DAG`, 后将 `Stage` 转为 `Task` 直接运行

问题

任务会按照代码所示运行, 依赖开发者的优化, 开发者的会在很大程度上影响运行效率

解决办法

创建一个组件, 帮助开发者修改和优化代码, 但是这在 `RDD` 上是无法实现的

为什么 `RDD` 无法自我优化?

*  `RDD` 没有 `Schema` 信息
 *  `RDD` 可以同时处理结构化和非结构化的数据

`SparkSQL` 提供了什么?

![72e4d163c029f86fafcfa083e6cf6eda][]

和 `RDD` 不同, `SparkSQL` 的 `Dataset` 和 `SQL` 并不是直接生成计划交给集群执行, 而是经过了一个叫做 `Catalyst` 的优化器, 这个优化器能够自动帮助开发者优化代码

也就是说, 在 `SparkSQL` 中, 开发者的代码即使不够优化, 也会被优化为相对较好的形式去执行

为什么 `SparkSQL` 提供了这种能力?

首先, `SparkSQL` 大部分情况用于处理结构化数据和半结构化数据, 所以 `SparkSQL` 可以获知数据的 `Schema`, 从而根据其 `Schema` 来进行优化

### 1.2. Catalyst ###

<table> 
 <tbody> 
  <tr> 
   <td>&nbsp;</td> 
   <td> <p>为了解决过多依赖&nbsp;<code>Hive</code>&nbsp;的问题,&nbsp;<code>SparkSQL</code>&nbsp;使用了一个新的&nbsp;<code>SQL</code>&nbsp;优化器替代&nbsp;<code>Hive</code>&nbsp;中的优化器, 这个优化器就是&nbsp;<code>Catalyst</code>, 整个&nbsp;<code>SparkSQL</code>&nbsp;的架构大致如下</p> <p><img alt="4d025ea8579395f704702eb94572b8de" src="https://img-blog.csdnimg.cn/img_convert/69984876ab312c3d879ad7353bf7ca17.png"></p> 
    <ol> 
     <li> <p><code>API</code>&nbsp;层简单的说就是&nbsp;<code>Spark</code>&nbsp;会通过一些&nbsp;<code>API</code>&nbsp;接受&nbsp;<code>SQL</code>&nbsp;语句</p> </li> 
     <li> <p>收到&nbsp;<code>SQL</code>&nbsp;语句以后, 将其交给&nbsp;<code>Catalyst</code>,&nbsp;<code>Catalyst</code>&nbsp;负责解析&nbsp;<code>SQL</code>, 生成执行计划等</p> </li> 
     <li> <p><code>Catalyst</code>&nbsp;的输出应该是&nbsp;<code>RDD</code>&nbsp;的执行计划</p> </li> 
     <li> <p>最终交由集群运行</p> </li> 
    </ol></td> 
  </tr> 
 </tbody> 
</table>

![67b14d92b21b191914800c384cbed439][]

Step 1 : 解析 `SQL`, 并且生成 `AST` (抽象语法树)

![5c0e91faae9043400c11bf68c20031a2][]

Step 2 : 在 `AST` 中加入元数据信息, 做这一步主要是为了一些优化, 例如 `col = col` 这样的条件, 下图是一个简略图, 便于理解

![02afbb7533249cc6024c2dfc2ee4891e][]

*  `score.id → id#1#L` 为 `score.id` 生成 `id` 为 1, 类型是 `Long`
 *  `score.math_score → math_score#2#L` 为 `score.math_score` 生成 `id` 为 2, 类型为 `Long`
 *  `people.id → id#3#L` 为 `people.id` 生成 `id` 为 3, 类型为 `Long`
 *  `people.age → age#4#L` 为 `people.age` 生成 `id` 为 4, 类型为 `Long`

Step 3 : 对已经加入元数据的 `AST`, 输入优化器, 进行优化, 从两种常见的优化开始, 简单介绍

![07142425c65dc6d921451a8bdec8a29d][]

*  谓词下推 `Predicate Pushdown`, 将 `Filter` 这种可以减小数据集的操作下推, 放在 `Scan` 的位置, 这样可以减少操作时候的数据量

![7b58443ef6ace60d269d704c1f4eae21][]

*  列值裁剪 `Column Pruning`, 在谓词下推后, `people` 表之上的操作只用到了 `id` 列, 所以可以把其它列裁剪掉, 这样可以减少处理的数据量, 从而优化处理速度

*  还有其余很多优化点, 大概一共有一二百种, 随着 `SparkSQL` 的发展, 还会越来越多, 感兴趣的同学可以继续通过源码了解, 源码在 `org.apache.spark.sql.catalyst.optimizer.Optimizer`

Step 4 : 上面的过程生成的 `AST` 其实最终还没办法直接运行, 这个 `AST` 叫做 `逻辑计划`, 结束后, 需要生成 `物理计划`, 从而生成 `RDD` 来运行

*  在生成\`物理计划\`的时候, 会经过\`成本模型\`对整棵树再次执行优化, 选择一个更好的计划
 *  在生成\`物理计划\`以后, 因为考虑到性能, 所以会使用代码生成, 在机器中运行

<table> 
 <tbody> 
  <tr> 
   <td>&nbsp;</td> 
   <td> <p>可以使用&nbsp;<code>queryExecution</code>&nbsp;方法查看逻辑执行计划, 使用&nbsp;<code>explain</code>&nbsp;方法查看物理执行计划</p> <p><img alt="6dd59b15 d810 4f1e ab52 c1ecfe0bddcd" src="https://img-blog.csdnimg.cn/img_convert/6bc8c342553514e0811df9910dfd86e3.png" width="700"></p> <p><img alt="6281b141 af94 41e7 8953 d33b0a6d04d0" src="https://img-blog.csdnimg.cn/img_convert/a0590db01381078665d01734dcde82a9.png" width="700"></p> <p>也可以使用&nbsp;<code>Spark WebUI</code>&nbsp;进行查看</p> <p><img alt="7884408908284ba4ebc57b0f1360bc03" src="https://img-blog.csdnimg.cn/img_convert/91adf82222cfe8564e887b43aa84a689.png" width="700"></p> </td> 
  </tr> 
 </tbody> 
</table>

总结

`SparkSQL` 和 `RDD` 不同的主要点是在于其所操作的数据是结构化的, 提供了对数据更强的感知和分析能力, 能够对代码进行更深层的优化, 而这种能力是由一个叫做 `Catalyst` 的优化器所提供的

`Catalyst` 的主要运作原理是分为三步, 先对 `SQL` 或者 `Dataset` 的代码解析, 生成逻辑计划, 后对逻辑计划进行优化, 再生成物理计划, 最后生成代码到集群中以 `RDD` 的形式运行

[1e627dcc1dc31f721933d3e925fa318b]: /images/20221022/f967ca2ee93842279f8111a488ec882c.png
[72e4d163c029f86fafcfa083e6cf6eda]: /images/20221022/a8b1c3b964794c6ebf8ebbef01816884.png
[67b14d92b21b191914800c384cbed439]: https://img-blog.csdnimg.cn/img_convert/302195db6cb3467c5a4f006717f8537e.png
[5c0e91faae9043400c11bf68c20031a2]: https://img-blog.csdnimg.cn/img_convert/9b9f3d09f7dada85dc7a34914a1ea5b5.png
[02afbb7533249cc6024c2dfc2ee4891e]: https://img-blog.csdnimg.cn/img_convert/29b110c5dd341e9617a17c4f3f5f44ab.png
[07142425c65dc6d921451a8bdec8a29d]: https://img-blog.csdnimg.cn/img_convert/6b5fcb7db6d434eacf426f96c94b7ba3.png
[7b58443ef6ace60d269d704c1f4eae21]: https://img-blog.csdnimg.cn/img_convert/0e6c99b4acf88b94b1f19493f4097532.png