Hadoop: Yarn架构以及执行流程

叁歲伎倆 2023-06-27 12:58 45阅读 0赞

[YARN产生背景及架构][YARN]

资源调度框架Yarn hadoop2.x才有的

在1.x中，mapreduce存在一定的单点风险，JobTracker干的事情太多了，资源利用率低，运维成本高。

有了Yarn上面所有的作业都可以运行在Yarn之上，所有的资源管理由Yarn完成，这样尽可能提高资源的利用率。

这也是现在生产环境上跑的是spark on yarn的一个非常重要的原因。

RM：资源管理 resource manager
    AM:  per-application ApplicationMaster
    NM: 执行和监控任务 node manager

YARN执行流程

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bnQyMDE4_size_16_color_FFFFFF_t_70]

client 发送消息要执行任务到 RM

RM 将任务 放到 NM 上

NM 启动一个此任务的AM

AM再向RM申请资源，并时时通信任务情况。

AM申请到资源后，访问资源的NM，NM创建task.执行任务。

AM会时时监控个NM上的task

问资源的NM，NM创建task.执行任务。

AM会时时监控个NM上的task

--------------------

对于hadoop和spark，hadoop是hadoop的AM，spark是spark的AM。

[YARN]: https://www.jianshu.com/p/7bdf2ca2ac71
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bnQyMDE4_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200107104605600.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bnQyMDE4,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，45人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop: Yarn架构以及执行流程

[YARN产生背景及架构][YARN] 资源调度框架Yarn hadoop2.x才有的在1.x中，mapreduce存在一定的单点风险，JobTracker干的事情太多了

叁歲伎倆/ 2023年06月27日 12:58/ 0 赞/ 46 阅读

相关 yarn 的作业执行流程

yarn 的作业执行流程 yarn 架构及各个角色的职责 yarn 的作业执行流程执行流程的另一种解释：

悠悠/ 2023年03月12日 15:25/ 0 赞/ 50 阅读

相关 Hadoop-Yarn-工作机制、job的提交流程

Hadoop-Yarn-工作机制、job的提交流程文章目录 Hadoop-Yarn-工作机制、job的提交流程 Yarn基本概述

客官°小女子只卖身不卖艺/ 2023年03月02日 10:41/ 0 赞/ 90 阅读

相关顺藤摸瓜RocketMQ之整体架构以及执行流程

文章目录代码结构执行流程 1.启动namesrv 2.启动broker 3.

柔情只为你懂/ 2022年12月26日 09:13/ 0 赞/ 196 阅读

相关 Yarn基础架构/工作机制/作业提交流程

一、什么是Yarn Yarn是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数

深藏阁楼爱情的钟/ 2022年11月08日 15:27/ 0 赞/ 241 阅读

相关 Hadoop YARN常见问题以及解决方案

作者: [Dong][] | 新浪微博： [西成懂][Link 1] | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及 [版权声明][Link 2]

素颜马尾好姑娘i/ 2022年09月29日 14:52/ 0 赞/ 239 阅读

相关作业在 Yarn 上的执行的流程

文章目录作业在 Yarn 上的执行的流程 AppMaster 的启动流程作业执行应用资源申请 AM - RM

小咪咪/ 2022年09月12日 13:43/ 0 赞/ 219 阅读

相关 hadoop yarn

The fundamental idea of YARN is to split up the functionalities of resource management

电玩女神/ 2022年07月13日 07:12/ 0 赞/ 248 阅读

相关 Hadoop YARN

基本思想教程： [https://mp.weixin.qq.com/s/JEw7qCze2vlt9ys\_Fe7cFA][https_mp.weixin.qq.co

电玩女神/ 2022年05月14日 07:21/ 0 赞/ 290 阅读

相关 Hadoop Yarn

一、Yarn架构 ![yarn-architecture][] Yarn就是将JobTracker的职责进行拆分，将资源管理和任务调度监控拆分成独立的进程：一个全局的资

爱被打了一巴掌/ 2021年10月15日 22:33/ 0 赞/ 511 阅读