Hadoop3.2.1 【 YARN 】源码分析 : ResourceManager 浅析

ゝ一纸荒年。 2022-12-27 07:52 223阅读 0赞

# 一.前言 #

在YARN中， ResourceManager负责集群中所有资源的统一管理和分配， 它接收来自各个节点（NodeManager） 的资源汇报信息， 并把这些信息按照一定的策略分配给各个应用程序（实际上是ApplicationMaster） 。

# 二. ResourceManager通讯 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70]

❑ **ResourceTracker \[8031\]**： NodeManager通过该RPC协议向ResourceManager注册、 汇报节点健康状况和Container运行状态， 并领取ResourceManager下达的命令， 这些命令包括重新初始化、 清理Container等， 在该RPC协议中， ResourceManager扮演RPC Server的角色（由内部组件ResourceTrackerService实现） ， 而NodeManager扮演RPC Client的角色， 换句话说， NodeManager与ResourceManager之间采用了“pull模型” ，**NodeManager 总是周期性地主动向ResourceManager发起请求， 并通过领取下达给自己的  
命令**。  
❑ **ApplicationMasterProtocol \[8030\]**： 应用程序的ApplicationMaster通过该RPC协议向ResourceManager注册、 申请资源和释放资源。 在该协议中， ApplicationMaster扮演RPCClient的角色， 而ResourceManager扮演RPC Server的角色， 换句话说， ResourceManager与ApplicationMaster之间也采用了“pull模型”。  
❑ \*\*ApplicationClientProtoco \[8032\] \*\*： 应用程序的客户端通过该RPC协议向ResourceManager提交应用程序、 查询应用程序状态和控制应用程序（比如杀死应用程序） 等。 在该协议中，应用工程序客户端扮演RPC Client的角色， 而ResourceManager扮演RPC Server的角色。

ResourceManager主要完成以下几个功能：  
❑与客户端交互， 处理来自客户端的请求；  
❑启动和管理ApplicationMaster， 并在它运行失败时重新启动它；  
❑管理NodeManager， 接收来自NodeManager的资源汇报信息， 并向NodeManager下达管理指令（比如杀死Container等） ；  
❑资源管理与调度， 接收来自ApplicationMaster的资源申请请求， 并为之分配资源。

# 三. ResourceManager内部架构 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70 1]

## 3.1.用户交互模块 ##

ResourceManager分别针对普通用户、 管理员和Web提供了三种对外服务， 具体实现分别对应ClientRMService、 AdminService和WebApp.

❍**ClientRMService \[8032\] 。 ClientRMService是为普通用户提供的服务， 它处理来自客户端各种RPC请求， 比如提交应用程序、 终止应用程序、 获取应用程序运行状态等。  
❍AdminService \[8033\]**。 ResourceManager为管理员提供了一套独立的服务接口， 以防止大量的普通用户请求使管理员发送的管理命令饿死， 管理员可通过这些接口管理集群， 比如动态更新节点列表、 更新ACL列表、 更新队列信息等。  
❍\*\*WebApp \[8090\] \*\*。 为了更加友好地展示集群资源使用情况和应用程序运行状态等信息，YARN对外提供了一个Web 界面， 是一个轻量级嵌入式Web框架 。

## 3.2.NM管理模块 ##

❍**NMLivelinessMonitor**。 监控NM是否活着， 如果一个NodeManager在一定时间（默认为10min） 内未汇报心跳信息， 则认为它死掉了， 需将其从集群中移除。  
❍**NodesListManager**。 维护正常节点和异常节点列表， 管理exclude（类似于黑名单）和include（类似于白名单） 节点列表， 这两个列表均是在配置文件中设置的， 可以动态加载。  
❍**ResourceTrackerService\[8031\]**。 处理来自NodeManager的请求， 主要包括注册和心跳两种请求， 其中， 注册是NodeManager启动时发生的行为， 请求包中包含节点ID、 可用的资源上限等信息； 而心跳是周期性行为， 包含各个Container运行状态， 运行的Application列表、 节点健康状况（可通过一个脚本设置） 等信息， 作为请求的应答，ResourceTrackerService可为NodeManager返回待释放的Container列表、 Application列表等信息

## 3.3.AM管理模块 ##

❍**AMLivelinessMonitor**。 监控AM是否活着， 如果一个ApplicationMaster在一定时间（默认为10min） 内未汇报心跳信息， 则认为它死掉了， 它上面所有正在运行的Container将被置为失败状态,而AM本身会被重新分配到另外一个节点上(用户可指定每个ApplicationMaster的尝试次数， 默认是2） 执行。  
❍**ApplicationMasterLauncher**。 与某个NodeManager通信， 要求它为某个应用程序启动ApplicationMaster。  
❍**ApplicationMasterService（AMS）** 。 处理来自ApplicationMaster的请求， 主要包括**注册**和**心跳**两种请求， 其中， 注册是ApplicationMaster启动时发生的行为， 注册请求包中包含ApplicationMaster启动节点； 对外RPC端口号和tracking URL等信息； 而心跳则是周期性行为， 汇报信息包含所需资源描述、 待释放的Container列表、 黑名单列表等， 而AMS则为之返回新分配的Container、 失败的Container、 待抢占的Container列表等信息

## 3.4. Application管理模块 ##

❍**ApplicationACLsManage**。 管理应用程序访问权限， 包含两部分权限： 查看权限和修改权限。 查看权限主要用于查看应用程序基本信息， 而修改权限则主要用于修改应用程序优先级、 杀死应用程序等。  
❍**RMAppManager**。 管理应用程序的启动和关闭。  
❍**ContainerAllocationExpirer**。 当AM收到RM新分配的一个Container后， 必须在一定的时间（默认为10min） 内在对应的NM上启动该Container， 否则RM将强制回收该Container， 而一个已经分配的Container是否该被回收则是由ContainerAllocationExpirer决定和执行的。

## 3.5.状态机管理模块 ##

ResourceManager使用**有限状态机**维护有状态对象的生命周期，ResourceManager共维护了4类状态机， 分别是RMApp、 RMAppAttempt、 RMContainer和RMNode（这几个均是接口， 具体实现类为对应接口名加上"Impl"后缀） 。

❍**RMApp**。 RMApp维护了一个应用程序（Application） 的整个运行周期， 包括从启动到运行结束整个过程。 由于一个Application的生命周期可能会启动多个Application运行实例（Application Attempt） ， 因此可认为， RMApp维护的是同一个Application启动的所有运行实例的生命周期。  
❍**RMAppAttempt**。 一个应用程序可能启动多个实例， 即一个实例运行失败后， 可能再次启动一个重新运行， 而每次启动称为一次运行尝试（或者“运行实例”） ，用"RMAppAttempt"描述， RMAppAttempt维护了一次运行尝试的整个生命周期。  
❍**RMContainer**。 RMContainer维护了一个Container的运行周期， 包括从创建到运行结束整个过程。 ResourceManager将资源封装成Container发送给应用程序的ApplicationMaster， 而ApplicationMaster则会在Container描述的运行环境中启动任务， 因此， 从这个层面上讲， Container和任务的生命周期是一致的（目前YARN尚不支持Container重用， 一个Container用完后会立刻释放， 将来可能会增加Container重用机制） 。  
❍**RMNode**。 RMNode维护了一个NodeManager的生命周期， 包括启动到运行结束整个过程。

## 3.6.安全管理模块 ##

ResourceManage自带了非常全面的权限管理机制， 主要由ClientToAMTokenSecretManager、 RMContainerTokenSecretManager、AMRMTokenSecretManager、RMDelegationTokenSecretManager等模块完成。

## 3.7.资源分配模块 ##

该模块主要涉及一个组件—ResourceScheduler。 ResourceScheduler是资源调度器， 它按照一定的约束条件（比如队列容量限制等） 将集群中的资源分配给各个应用程序， 当前主要考虑内存和CPU资源。 ResourceScheduler是一个插拔式模块，YARN自带了一个批处理资源调度器—FIFO（First In First Out） 和两个多用户调度器—Fair Scheduler和Capacity Scheduler（默认资源调度器 ）

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70]: /images/20221120/2673d7a90deb4511b6b688b742534254.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2020120900345818.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0,size_16,color_FFFFFF,t_70