图解yarn的作业提交流程

落日映苍穹つ 2023-10-04 17:05 15阅读 0赞

### YARN的作业提交机制 ###

作业提交全过程详解

（1）作业提交

第 1 步：Client 调用 job.waitForCompletion 方法，向整个集群提交 MapReduce 作业。

第 2 步：Client 向 RM 申请一个作业 id。

第 3 步：RM 给 Client 返回该 job 资源的提交路径和作业 id。

第 4 步：Client 提交 jar 包、切片信息和配置文件到指定的资源提交路径。

第 5 步：Client 提交完资源后，向 RM 申请运行 MrAppMaster。

（2）作业初始化

第 6 步：当 RM 收到 Client 的请求后，将该 job 添加到容量调度器中。

第 7 步：某一个空闲的 NM 领取到该 Job。

第 8 步：该 NM 创建 Container，并产生 MRAppmaster。

第 9 步：下载 Client 提交的资源到本地。

（3）任务分配

第 10 步：MrAppMaster 向 RM 申请运行多个 MapTask 任务资源。

第 11 步：RM 将运行 MapTask 任务分配给另外两个 NodeManager，另两个 NodeManager 分别领取任务并创建容器。

（4）任务运行

第 12 步：MR 向两个接收到任务的 NodeManager 发送程序启动脚本，这两个 NodeManager 分别启动 MapTask，MapTask 对数据分区排序。

第13步：MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。

第 14 步：ReduceTask 向 MapTask 获取相应分区的数据。

第 15 步：程序运行完毕后，MR 会向 RM 申请注销自己。

（5）进度和状态更新

YARN 中的任务将其进度和状态(包括 counter)返回给应用管理器, 客户端每秒(通过 mapreduce.client.progressmonitor.pollinterval 设置)向应用管理器请求进度更新, 展示给用户。

（6）作业完成  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/df92ddd77fb34fc5901c799785461c46.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16

发表评论取消回复

表情：

评论列表（有 0 条评论，15人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink集群部署到YARN上的提交流程

第一步:Flink任务提交后，Client向HDFS上传Flink的Jar包和配置第二步:之后向Yarn ResourceManager提交任务，ResourceMana...

桃扇骨/ 2024年04月28日 13:03/ 0 赞/ 66 阅读

相关 Flink 1.17教程：Standalone会话模式和Yarn应用模式的作业提交流程

提交流程\_Standalone会话模式 Standalone会话模式作业提交流程 ![img][] 逻辑流图/作业图/执行图/物理流图逻辑流图（Stre

布满荆棘的人生/ 2023年10月15日 14:39/ 0 赞/ 35 阅读

相关图解yarn的作业提交流程

YARN的作业提交机制作业提交全过程详解（1）作业提交第 1 步：Client 调用 job.waitForCompletion 方法，向整个集群提交 MapR

落日映苍穹つ/ 2023年10月04日 17:05/ 0 赞/ 16 阅读

相关 Flink-作业提交流程

Flink-作业提交流程快速索引 1. StreamGraph ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naG

向右看齐/ 2022年12月01日 15:54/ 0 赞/ 231 阅读

相关 Yarn基础架构/工作机制/作业提交流程

一、什么是Yarn Yarn是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数

深藏阁楼爱情的钟/ 2022年11月08日 15:27/ 0 赞/ 178 阅读

相关 Spark作业提交流程源码

Spark作业提交流程源码目录 Spark作业提交流程源码一、环境准备及提交流程二、创建Yarn Client客户端并提交

淡淡的烟草味﹌/ 2022年11月03日 04:28/ 0 赞/ 187 阅读

相关作业在 Yarn 上的执行的流程

文章目录作业在 Yarn 上的执行的流程 AppMaster 的启动流程作业执行应用资源申请 AM - RM

小咪咪/ 2022年09月12日 13:43/ 0 赞/ 181 阅读

相关 spark的作业提交流程

spark的作业调度分为3个级别：DAG调度器 ==>TaskScheduler(任务调度器)==> SchedulerBackend(后台调度器) 第一级作业调度：DAG调

水深无声/ 2022年06月17日 13:10/ 0 赞/ 389 阅读

相关 Spark Yarn 提交作业

初学Spark时，部署的是Standalone模式（集成了HA），写的测试程序一般创建上下文时如下： ![70][] 此处master设置为管理节点的集群地址（spark

客官°小女子只卖身不卖艺/ 2022年05月14日 01:26/ 0 赞/ 231 阅读

相关 Flink Yarn 作业提交

1、下载测试文件 wget -O LICENSE-2.0.txt http://www.apache.org/licenses/LICENSE-2.0.txt 2、

心已赠人/ 2022年03月18日 08:28/ 0 赞/ 393 阅读