理解Spark

「爱情、让人受尽委屈。」 2022-04-14 03:12 143阅读 0赞

# Spark #

### Hadoop框架存在的问题 ###

*  JobTracker是MapReduce的集中处理点，存在单点故障的问题
 *  以MapReduce task数目作为资源的表示比较简单，没有考虑CPU和内存占用情况
 *  任务集中导致源代码复杂，增加bug修复和系统维护的难度

### RDD ###

RDD(Resilient Distributed Dataset)是一个可读的、可分区的分布式数据集，任何数据在spark中都可以被表示为RDD

### Spark应用程序 ###

把需要处理的数据转为RDD，然后对RDD进行一系列的变换和操作  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjM3Mjg3OQ_size_16_color_FFFFFF_t_70]  
**Driver Program程序入口，运行App的main，创建SparkContext**  
**Cluster Manager：在集群上获取资源的外部服务**  
**Workder Node：可以运行application代码的节点**  
**Executor：一个进程，该进程负责运行task**

### Spark on yarn-cluster框架 ###

#### Yarn的基本思想 ####

Yarn的基本思想是将JobTracker的资源管理和作业调度分离

*  资源管理：ResourceManager
 *  作业调度：ApplicationMaster创建SparkContext

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjM3Mjg3OQ_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjM3Mjg3OQ_size_16_color_FFFFFF_t_70 2]

#### ResourceManager ####

**负责资源管理与调度，资源管理的基本单位：task**

#### NodeManager ####

**节点代理，负责：**

1.  启动container/executor
2.  监控资源使用情况给RM

#### Application Master ####

负责作业调度

1.  是第一个container
2.  启动SparkContext

#### SparkContext ####

1.  向RM注册
2.  向RM申请资源
3.  启动executor等待task
4.  分配task给NM上的executor
5.  监控task的运行情况

#### Spark on yarn-cluster流程 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjM3Mjg3OQ_size_16_color_FFFFFF_t_70 3]

1.  提交Application给RM
2.  RM向NodeManager申请第一个container给Application Master，Application Mater初始化SparkContext
3.  SparkContext向RM注册，并且申请运行executor的资源
4.  SparkContext和NodeManager通信，启动executor，SparkContext分配task给executor执行
5.  executor报告task的状态，直至完成
6.  注销Application，归还资源

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjM3Mjg3OQ_size_16_color_FFFFFF_t_70]: /images/20220414/1a6c5c48e7ac412f80994b38f0a02c34.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjM3Mjg3OQ_size_16_color_FFFFFF_t_70 1]: /images/20220414/5a67e471243647918fc7a9a0bd5a95d8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjM3Mjg3OQ_size_16_color_FFFFFF_t_70 2]: /images/20220414/b5155fe177d54f338099899002354567.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjM3Mjg3OQ_size_16_color_FFFFFF_t_70 3]: /images/20220414/88af2d68a15f44dfab3e05dde56542cb.png