云栖大会 | Apache Spark 3.0 和 Koalas 最新进展

阳光穿透心脏的1/2处 2023-08-17 16:11 127阅读 0赞

本资料来自2019-09-26在杭州举办的云栖大会的大数据 & AI 峰会分会。议题名称《 New Developments in the Open Source Ecosystem: Apache Spark 3.0 and Koalas 》，分享嘉宾 李潇， Databricks Spark 研发总监。

下面是本次会议的视频（由于微信公众号的限制，只能发布小于30分钟的视频， **完整视频和 PPT 请关注 过往记忆大数据 公众号并回复 spark\_yq 获取。** ）

2019年对 Spark 社区来说是一个比较特殊的年份。 10年前，马铁为了帮助自己的同学得到 Netflix 发起的 Netflix Prize 竞赛百万美金，诞生了一个伟大的项目，这就是现在的 Apache Spark。

![640?wx\_fmt=png][640_wx_fmt_png]

上面就是 Apache Spark 的发展历史。2019年09月将会发布 Apache Spark 3.0 预览版，明年年初将会发布 Apache Spark 3.0 正式版。

![640?wx\_fmt=png][640_wx_fmt_png 1]

世界级的知乎 stackoverflow 中当年 Spark 和 PySpark 排名都很靠前，10年累计排名 Apache Spark 第一，Apache Hadoop 第二；未来 Apache Spark 和 PySpark 将会垄断世界。

![640?wx\_fmt=png][640_wx_fmt_png 2]

Apache Spark 3.0 是社区共同努力的结果，大概开发了一年多。下面是 Apache Spark 3.0 的主要特性：

![640?wx\_fmt=png][640_wx_fmt_png 3]

*  动态分区裁减
 *  自适应
 *  Spark Graph
 *  加速感应调度（GPU，具体参见 ）
 *  Spark on k8s
 *  DataSource API V2
 *  ANSI SQL 兼容
 *  SQL Hints
 *  Vectorization in SparkR
 *  JDK 11
 *  Hadoop 3
 *  Scala 2.12

下面主要介绍 Apache Spark 3.0 在查询方面的优化

![640?wx\_fmt=png][640_wx_fmt_png 4]

在 Spark 2.x 里面加了基于代价的优化，但是这个并不表现的很好。主要有以下几个原因：

*  统计信息的缺失；
 *  统计信息过期；
 *  很难抽象出一个通用的 cost model。

为了解决这些问题，Apache Spark 3.0 引入了基于 Runtime 的查询优化。

![640?wx\_fmt=png][640_wx_fmt_png 5]

第一个就是动态分区裁减

![640?wx\_fmt=png][640_wx_fmt_png 6]

比如上面的 SQL 查询，假设 t2 表 t2.id < 2 过滤出来的数据比较少，但是由于之前版本的 Spark 无法进行动态计算代价，所以可能会导致 t1 表扫描出大量无效的数据。有了动态分区裁减，可以在运行的时候过滤掉 t1 表无用的数据

![640?wx\_fmt=png][640_wx_fmt_png 7]

经过这个优化，查询扫描的数据大大减少，性能提升了 33 倍

![640?wx\_fmt=png][640_wx_fmt_png 8]

第二个优化就是 AE（详情可以参见

![640?wx\_fmt=png][640_wx_fmt_png 9]

比如下面的查询，基于代价的模型优化不可能准确的评估，

![640?wx\_fmt=png][640_wx_fmt_png 10]

而有了 AE 之后，Spark 就可以动态统计相关信息，并动态调整执行计划，比如把 SortMergeJoin 变成 BroadcastHashJoin：

![640?wx\_fmt=png][640_wx_fmt_png 11]

Spark 在诞生之初就定位于统一的大数据处理引擎。

![640?wx\_fmt=png][640_wx_fmt_png 12]

数据处理主要经过以下三个阶段

![640?wx\_fmt=png][640_wx_fmt_png 13]

*  商业智能
 *  大数据分析
 *  数据统一 + AI

![640?wx\_fmt=png][640_wx_fmt_png 14]

Spark 主要面对的是两个群体：数据工程师和数据科学家。

![640?wx\_fmt=png][640_wx_fmt_png 15]

近几年 Python 的使用者越来越多了，也导致越来越多的用户使用 pandas 来进行数据分析。但是 pandas 主要是解决小数据量的分析，当数据量大的时候，分析性能急剧下降。而为了进行大数据量的分析时，不得不学习新的计算引擎。

为了解决这个问题，Spark 开源了 koalas，其和 pandas 无缝兼容（koalas 的详细信息可以参见 koalas 开源以来的单日下载量：

![640?wx\_fmt=png][640_wx_fmt_png 16]

PySpark 作为数据分析的工具，单日下载量也在逐渐增加。

下面是 PySpark DataFrame 和 pandas DataFrame 的区别：

![640?wx\_fmt=png][640_wx_fmt_png 17]

下面是一个使用例子对比，主要是读取一个 csv 文件，并重命名列的名字，最后再添加一个新的列：

![640?wx\_fmt=png][640_wx_fmt_png 18]

可以看出，PySpark 相比 pandas 来说使用起来还是很麻烦，使用 pandas 的用户不得不学习新的 API，但是有了 koalas ，这个问题不存在了：

![640?wx\_fmt=png][640_wx_fmt_png 19]

下面我们来介绍数据工程

![640?wx\_fmt=png][640_wx_fmt_png 20]

在数据工程方面，数砖开源了 Delta Lake（具体参见

![640?wx\_fmt=png][640_wx_fmt_png 21]

Delta Lake 并不是凭空产生的，而是基于成千上万的用户痛点总结出来的。Delta Lake 的使用也很方面，直接把 parquet 替换成 delta：

![640?wx\_fmt=png][640_wx_fmt_png 22]

下面主要介绍 Delta Lake 的特性

![640?wx\_fmt=png][640_wx_fmt_png 23]

下面是 Delta Lake 的三个用户使用场景：

![640?wx\_fmt=png][640_wx_fmt_png 24]

![640?wx\_fmt=png][640_wx_fmt_png 25]

![640?wx\_fmt=png][640_wx_fmt_png 26]

下面是数砖 Delta 的使用情况：

![640?wx\_fmt=png][640_wx_fmt_png 27]

![640?wx\_fmt=png][640_wx_fmt_png 28]

![640?wx\_fmt=png][640_wx_fmt_png 29]

--------------------

**新福利:**

**从9月11日开始至10月15日截止，一共五周时间，每周二我会从公众号底部留言+转发+在看综合最多的读者中抽取一名读者，免费包邮送实体新书《HBase原理与实践》，留言互动起来吧~**

上周获奖名单：ZRTX

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 1]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 2]

猜你喜欢

1、

2、

3、

4、

![640?wx\_fmt=png][640_wx_fmt_png 30]

过往记忆大数据微信群，请添加微信：fangzhen0219,备注【进群】

[640_wx_fmt_png]: /images/20230810/480c92fb5ce341cbb3f5614db7cedb07.png
[640_wx_fmt_png 1]: /images/20230810/2681588fa2f6427aba1931d0896d69d2.png
[640_wx_fmt_png 2]: /images/20230810/89e0e611b2404e819f8a86f8aab680dc.png
[640_wx_fmt_png 3]: /images/20230810/14add6d797904832b176e51334ce6cdc.png
[640_wx_fmt_png 4]: /images/20230810/1ae2278c93e649f2b701269634b36ccf.png
[640_wx_fmt_png 5]: /images/20230810/3c689a3c6d8c4de7807e7edaba4a46aa.png
[640_wx_fmt_png 6]: /images/20230810/d653b3ef320d42f9bc3d27d99f3a1818.png
[640_wx_fmt_png 7]: /images/20230810/dac0508083434afba613f057d5b1dbcc.png
[640_wx_fmt_png 8]: /images/20230810/478f6b2bf89c471e908d604178d25e49.png
[640_wx_fmt_png 9]: /images/20230810/77dfb792020f4a6f891844c8bc57c0ad.png
[640_wx_fmt_png 10]: /images/20230810/6190b09975014b179bb648624b0d1bc1.png
[640_wx_fmt_png 11]: /images/20230810/b6beddd47a3f4002ae37337e4e1d3c35.png
[640_wx_fmt_png 12]: /images/20230810/55bbbd8e577f4af29db46406f7dcb194.png
[640_wx_fmt_png 13]: /images/20230810/891b0964d2eb471aafcb2bb5985bc883.png
[640_wx_fmt_png 14]: /images/20230810/be2331b9d2714a4f9b8dbfa005c996ea.png
[640_wx_fmt_png 15]: /images/20230810/7f49dcced8974389a8d6a82c7740b8ee.png
[640_wx_fmt_png 16]: /images/20230810/babebc5ea44047d2b2f746e983163198.png
[640_wx_fmt_png 17]: /images/20230810/5d6d4312a3234a8a84b52ee6d11b2c38.png
[640_wx_fmt_png 18]: /images/20230810/f34546b84c3e4c519d85e2421ba8db0a.png
[640_wx_fmt_png 19]: /images/20230810/d9dda41a455443019759d0ec9737f119.png
[640_wx_fmt_png 20]: /images/20230810/4496bb1f715146fbab629ba6e61ee16a.png
[640_wx_fmt_png 21]: /images/20230810/b9232de727c74ce98202e6e6469861d9.png
[640_wx_fmt_png 22]: /images/20230810/037e3e86fe3342f684a4e05bf14e25ac.png
[640_wx_fmt_png 23]: /images/20230810/111a5f5c7b45428da6180f434d68d21e.png
[640_wx_fmt_png 24]: /images/20230810/8874bbce94444eb7adaa814df953ee12.png
[640_wx_fmt_png 25]: /images/20230810/6033a40945be4f74b766cc7b5bc867b9.png
[640_wx_fmt_png 26]: /images/20230810/f31201de1eec4a929797b218c1886b0c.png
[640_wx_fmt_png 27]: /images/20230810/8ab61e39ffff4221ae448f02bdde8e36.png
[640_wx_fmt_png 28]: /images/20230810/f1a7c7ee6c4c441382ba61f16b424373.png
[640_wx_fmt_png 29]: /images/20230810/d3df04e8629c4fbcb2b79dda7bec1c76.png
[640_wx_fmt_jpeg]: /images/20230810/c56dbe3b2fa747568679d7b0505bd1e8.png
[640_wx_fmt_jpeg 1]: /images/20230810/81b7e0b6cc834368ab18b728457ec962.png
[640_wx_fmt_jpeg 2]: /images/20230810/4599c9baa52944cc86ccee82f2cf77d4.png
[640_wx_fmt_png 30]: /images/20230810/1b0612620e70417aa5d81c9a48fdc82f.png