pyspark系列4-spark内核概述

川长思鸟来 2023-01-17 08:55 217阅读 0赞

### 文章目录 ###

*  一.Spark核心组件
 *   *  1.1 Cluster Manager(Master,ResourceManager)
     *  1.2 Worker(worker,NodeManager)
     *  1.3 Driver
     *  1.4 Executor
     *  1.5 Application
 *  二.Spark on Yarn
 *   *  3.1 Yarn的基本架构
     *  3.2 Spark on Yarn
     *   *  3.2.1 YARN-Cluster模式
         *  3.2.2 YARN-Client模式
     *  3.3 Spark Job
 *  参考:

# 一.Spark核心组件 #

SparkContext将资源需求提交给Cluster Manager  
Cluster Manager根据需求分配资源(Executor=Cache + Task)  
SparkContext将Task提交给Executor运行  
Executor返回结果给SparkContext

![image.png][]

## 1.1 Cluster Manager(Master,ResourceManager) ##

Spark的集群管理器，主要负责对整个集群资源的分配与管理 Cluster Manager

1). 在 Yarn 部署模式下为 ResourceManager  
2). 在 Mesos 部署模式下为 Mesos Master  
3). 在 Standalone 部署模式下为 Master.

**一般在Yarn部署的情况多一些**

## 1.2 Worker(worker,NodeManager) ##

Spark 的工作节点. 在 Yarn 部署模式下实际由 NodeManager 替代. 主要负责以下工作:

1). 将自己的内存, CPU 等资源通过注册机制告知 Cluster Manager  
2). 创建 Executor  
3). 将资源和任务进一步分配给 Executor  
4). 同步资源信息, Executor 状态信息给 ClusterManager 等

## 1.3 Driver ##

Spark 驱动器节点，用于执行 Spark 任务中的 main 方法，负责实际代码的执行工作  
**Driver 在 Spark 作业执行时主要负责:**  
1). 将用户程序转化为作业（Job）  
2). 在 Executor 之间调度任务（Task）  
3). 跟踪 Executor 的执行情况  
4). 通过 UI 展示查询运行情况

## 1.4 Executor ##

Spark Executor 节点是负责在 Spark 作业中运行具体任务，任务彼此之间相互独立。 Spark 应用启动时，Executor 节点被同时启动，并且始终伴随着整个 Spark 应用的生命周期而存在。 如果有 Executor 节点发生了故障或崩溃，Spark 应用也可以继续执行，会将出错节点上的任务调度到其他 Executor 节点上继续运行。 Executor 有两个核心功能：

1). 负责运行组成 Spark 应用的任务，并将结果返回给驱动器（Driver）  
2). 它们通过自身的块管理器（Block Manager）为用户程序中要求缓存的 RDD 提供内存式存储。RDD 是直接缓存在 Executor 进程内的，因此任务可以在运行时充分利用缓存数据加速运算。

## 1.5 Application ##

用户使用 Spark 提供的 API 编写的应用程序

1). Application 通过 Spark API 将进行 RDD 的转换和 DAG 的构建, 并通过 Driver 将 Application 注册到 Cluster Manager.  
2). Cluster Manager 将会根据 Application 的资源需求, 通过一级分配将 Executor, 内存, CPU 等资源分配给Application.  
3). Driver 通过二级分配将 Executor 等资源分配给每一个任务, Application 最后通过 Driver 告诉 Executor 运行任务

# 二.Spark on Yarn #

## 3.1 Yarn的基本架构 ##

Yarn的基本架构:

![image.png][image.png 1]

Yarn的三个组件:  
ResourceManager、NodeManager、Application Manager

## 3.2 Spark on Yarn ##

通过spark-submit命令可以运行spark的程序，如下所示:

spark-submit --master MASTER_URL --deploy-mode DEPLOY_MODE

其中MASTER\_URL有4种模式:

Master URLS
    Local: local/local[K]、local[*]
    Standalone:spark://HOSR:PORT
    Mesos:mesos://HOST:PORT
    YARN: yarn-client、yarn-cluster（根据本地hadoop配置）

调度pyspark程序实例:

-- spark 2.4.0版本
    spark-submit --master local xxxx.py
    spark-submit --master yarn --deploy-mode cluster xxxx.py
    spark-submit --master yarn --deploy-mode client xxxx.py

### 3.2.1 YARN-Cluster模式 ###

资源申请、分配在Application Master完成  
任务执行计划、调度也在Application Master完成  
![image.png][image.png 2]

### 3.2.2 YARN-Client模式 ###

资源申请、分配在Application Master完成  
任务执行计划、调度在Client端完成  
![image.png][image.png 3]

## 3.3 Spark Job ##

SparkContext构建DAG图  
将DAG图分解成Stage  
把Taskset发送给Task Scheduler

![image.png][image.png 4]

# 参考: #

1.https://www.cnblogs.com/hyunbar/p/12079449.html

[image.png]: /images/20221021/c33eb97942bd49839df3639c1781b65c.png
[image.png 1]: /images/20221021/cabcf35609f24380b8fec7daaa62c181.png
[image.png 2]: /images/20221021/c159b0fd865c4f3eb27061c3ba2426c9.png
[image.png 3]: /images/20221021/d7d3a8e2af664cc4a75f267b1799f560.png
[image.png 4]: /images/20221021/f17d1c6fd9c64ac08343da12d947ce54.png