Spark Operator 部署及入门示例

迷南。 2023-10-03 11:15 25阅读 0赞

关于存算分离

目前企业级的大数据应用主流还是采用Yarn或者Mesos来进行资源分配和运行调度的，例如我行目前采用Yarn来进行作业调度，并使用HDFS作为大数据的存储平台，这是典型的计算和存储紧耦合的模式，这种方案是通过数据本地化策略来减少数据的网络传输，从而实现良好的计算性能。

随着业务的发展，支持作业运行所需要的计算资源（CPU、内存、网络带宽）的需求量也会不断增长，就可能出现Hadoop集群的计算资源不足的情况，在目前的架构下我们只能通过扩容集群服务器的方式来解决，然而这种方式的步骤较为繁琐，且无法实现计算资源的弹性伸缩，时效性和灵活性较差 。而Spark作业通过Kubernetes进行资源管理和调度的方案可以方便地实现计算资源的动态调整，从而快速适应业务场景的变化，并且还可以实现硬件资源的充分利用并节约成本。

存算分离：将计算模块改为运行在K8S集群中来实现计算资源的快速调整；而存储模块由于状态复杂，并且不需要进行快速的资源调整和变化，因此可以将计算模块与存款模块分离开来，即近期讨论较多的存算分离的模式。

Spark Operator

Spark是目前在我行使用范围非常广泛的一种大数据计算引擎，本文将主要讨论Spark on K8S的实现。

将Spark运行在K8S集群上可以采用Spark官方原生的作业运行方式（https://spark.apache.org/docs/3.0.0/running-on-kubernetes.html），在该模式下提交Spark作业仍然延用了spark-submit命令，并且通过指定K8S集群的ApiServer地址作为master来提交Spark作业，该方式目前对于Spark作业的管理功能较为简单，并且缺乏统一的资源调度和管理能力。

我们也可以采用Spark Operator的方式，Spark Operator( https://github.com/GoogleCloudPlatform/spark-on-k8s-operator )是由谷歌发起和维护的开源项目，它将Spark和Kubernetes进行了深度的集成，是一个可以管理Spark应用程序生命周期的Kubernetes插件。开发人员通过编写yaml文件即可在K8S集群上提交Spark作业，而不需要在客户机上配置spark-submit工具。

Spark Operator还提供了强大的作业管理功能，例如使用sparkctl命令来执行创建、查看、停止作业来管理Spark作业的生命周期，还支持通过ingress的服务暴露模式来访问作业的UI界面。本文中将主要介绍Spark Operator这种作业运行模式。

Operator是由CoreOS公司推出的， 通过定义CRD(CustomResourceDefinition)和实现相应的Controller来扩展Kubernetes 集群的功能。CRD是从Kubernetes 1.7 版本开始引入的概念，它可以注册到 kubernetes 集群中，使得用户可以像使用原生的集群资源（例如 pod、deployment）一样对CRD对象进行创建、查看、删除等操作；Controller则会监听资源的状态变化并进行处理，尝试让CRD 定义的资源达到预期的状态。

接下来我们来看一下SparkOperator的相关实现原理。

Spark Operator架构

![img][]

打开腾讯新闻，查看更多图片 >

Spark Operator的主要组件如下：

1、SparkApplication Controller : 用于监控并相应SparkApplication的相关对象的创建、更新和删除事件；

2、Submission Runner：用于接收Controller的提交指令，并通过spark-submit 来提交Spark作业到K8S集群并创建Driver Pod，driver正常运行之后将启动Executor Pod；

3、Spark Pod Monitor：实时监控Spark作业相关Pod（Driver、Executor）的运行状态，并将这些状态信息同步到Controller ;

4、Mutating Admission Webhook：可选模块，但是在Spark Operator中基本上所有的有关Spark pod在Kubernetes上的定制化功能都需要使用到该模块，因此建议将enableWebhook这个选项设置为true。

5、sparkctl：基于Spark Operator的情况下可以不再使用kubectl来管理Spark作业了，而是采用Spark Operator专用的作业管理工具sparkctl，该工具功能较kubectl功能更为强大、方便易用。

其中，Controller是作为Spark Operator的核心组件，用于控制和处理pod以及应用运行的状态变化。

如下代码片段展示了Controller更新Driver和Executor Pod状态变化的逻辑：

Spark 应用的状态机图示如下：

![img][img 1]

如下代码片段展示了Controller更新application应用状态的相关操作：

Spark Operator通过启动一个监听对象ResourceUsageWatcher来实时监听和更新集群资源的使用情况：

当发生新增应用的调度请求、应用状态更新，以及新增Pod或者Pod状态更新等情况下，均可触发ResourceUsageWatcher的相关操作。例如在onPodUpdated方法中，通过调用ResourceUsageWatcher的setResources来实时更新集群当前的可调度资源：

搭建运行环境

接下来我们通过一个实验来测试一下Spark Operator的相关特性。

1.本实验环境所采用的K8S集群为1.15.12 版本，Spark 采用3.0.0版本。

2.Hadoop集群采用的是CDH 5.13版本，Hadoop的版本为2.6.0。

3.下载并编译Spark Operator :

在sparkctl目录下执行编译得到sparkctl工具，并将sparkctl 拷贝到/usr/bin目录下，即可使用sparkctl命令行工具。

4.为Spark Operator插件创建namespace:

5.通过helm安装Spark Operator :

6.创建Spark作业的ServiceAccount相关权限对象

在本实验中ServiceAccount资源的创建使用的是官网上的示例yaml文件，其中ServiceAccount设置为spark，实际工作中我们也可以定义自己的ServiceAccount、Role和RoleBinding资源，并在作业提交时指定相应的对象名称即可。

一个操作HDFS文件的wordcount实例

编写示例代码

本项目中的代码是一个简单的Spark wordcount程序，通过读取存储在HDFS上的文本文件，并利用Spark计算出在该文本中每个单词的出现频率。同时采用Kerberos的认证方式来实现对HDFS的安全访问。

本示例中所采用的分布式文件系统是HDFS，后续我们也将考虑使用对象存储平台来做测试。

主要代码如下：

生成docker镜像

1.代码编写完成后，通过maven工具对本项目进行编译和打包，得到该项目的jar包：WordCount1-1.0-SNAPSHOT.jar

2.然后编写Dockerfile并生成docker镜像：

Dockerfile文件内容如下：

生成docker镜像：

将作业运行于K8S集群

打包好应用镜像之后，编写words.yaml文件，用于提交作业到K8S集群：

然后我们将在K8S集群中运行该示例程序：

**提交作业**

通过执行sparkctl create $.yaml 来提交作业：

**查看Spark作业的运行状态**

作业提交后，通过执行 sparkctl list 命令可以查看所有已提交的Spark 作业，并可以查看作业当前的运行状态：

**查看应用日志**

通过执行sparkctl log $ 命令即可输出该作业的详细日志信息：

后续我们考虑通过filebeat将pod的日志信息收集到ELK日志平台，从而为用户提供更为方便的日志查询渠道。

**查看Spark作业的事件**

通过执行sparkctl event $ 命令查看该Spark作业的event信息；

另外，在作业启动失败的情况下也可以通过该命令来分析失败原因：

**查看作业运行界面**

每个Spark作业的UI服务都通过ingress的暴露方式对外发布，通过执行 kubectl get ingress 命令即可获取相应作业的ingress地址：

得到ingress地址后，即可通过浏览器查看该作业的运行情况，下图展示的就是wordcount的Spark原生运行界面：

注意：没有DNS的同学可以在hosts中添加相应的域名映射即可访问。

![img][img 2]

至此我们了解了Spark on K8S的相关原理，并从0开始搭建环境并实践了一个的基于Spark Operator的应用。

目前Spark Operator这个项目还在不断地更新迭代，我们将持续关注该项目的进展，并继续在用户授权、资源隔离、日志接入和作业监控等方面进行进一步地测试和验证，逐渐探索出适合我行的Spark on K8S方案。

> 作者简介：
> 
> 焦媛，2011年加入民生银行，目前主要负责Hadoop平台运维和相关工具研发，以及HDFS和Spark相关产品的技术支持工作。
> 
> 原文链接：[Spark Operator 初体验|spark|kubernetes|docker (qq.com)][Spark Operator _spark_kubernetes_docker _qq.com]

[img]: https://img-blog.csdnimg.cn/img_convert/0131912358ff8e64facfc9724851cd51.png
[img 1]: https://img-blog.csdnimg.cn/img_convert/60b3897c743c30e402e6d4357acc4b67.png
[img 2]: https://img-blog.csdnimg.cn/img_convert/64ff44e33b1b48340e6219742e0e3e5e.png
[Spark Operator _spark_kubernetes_docker _qq.com]: https://xw.qq.com/cmsid/20201116A0HJO400