YARN的 Resource Manager的作用

た入场券 2022-08-07 11:39 15阅读 0赞

可以带着下面问题来阅读本文：  
1.YARN通过什么来负责管理和分配集群中资源？  
2.ResourceManager有几部分组成？  
3.管理员通过什么服务来管理集群？  
4.集群默认多长时间未汇报心跳，则认为其死掉？  
5.ApplicationACLsManager有几种权限，查看主要查看什么，修改，主要修改什么？  
6.ResourceScheduler在YARN中的位置？  
  
1：在YARN中，ResourceManager负责集群中所有资源的统一管理和分配，它接收来自各个节点（NodeManager）的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序（实际上是ApplicationManager）。

![174531ef9foerhcqiq8cg7.jpg][]

:2：ResourceManager主要由以下几个部分组成：

用户交互

YARN分别针对普通用户，管理员和Web提供了三种对外服务，分别对应ClientRMService、AdminService和WebApp：

ClientRMService

ClientRMService是为普通用户提供的服务，它会处理来自客户端各种RPC请求，比如提交应用程序、终止应用程序，获取应用程序运行状态等。

AdminService

YARN为管理员提供了一套独立的服务接口，以防止大量的普通用户请求使管理员发送的管理命令饿死，管理员可通过这些接口管理集群，比如动态更新节点列表，更新ACL列表，更新队列信息等。

WebApp

为了更加友好地展示集群资源使用情况和应用程序运行状态等信息，YARN对外提供了一个Web 界面

NM（NodeManager）管理

NMLivelinessMonitor

监控NM是否活着，如果一个NodeManager在一定时间（默认为10min）内未汇报心跳信息，则认为它死掉了，会将其从集群中移除。

NodesListManager

维护正常节点和异常节点列表，管理exlude（类似于黑名单）和inlude（类似于白名单）节点列表，这两个列表均是在配置文件中设置的，可以动态加载。

ResourceTrackerService

处理来自NodeManager的请求，主要包括两种请求：注册和心跳，其中，注册是NodeManager启动时发生的行为，请求包中包含节点ID，可用的资源上限等信息，而心跳是周期性 行为，包含各个Container运行状态，运行的Application列表、节点 [健康状况][Link 1]（可通过一个脚本设置），而ResourceTrackerService则为NM返回待释放的Container列表、Application列表等。

AM（ApplicationManager）管理

AMLivelinessMonitor

监控AM是否活着，如果一个ApplicationMaster在一定时间（默认为10min）内未汇报心跳信息，则认为它死掉了，它上面所有正在运行的Container将被认为死亡，AM本身会被重新分配到另外一个节点上（用户可指定每个ApplicationMaster的尝试次数，默认是1次）执行。

ApplicationMasterLauncher

与NodeManager通信，要求它为某个应用程序启动ApplicationMaster。

ApplicationMasterService

处理来自ApplicationMaster的请求，主要包括两种请求： [注册][Link 2]和心跳，其中，注册是ApplicationMaster启动时发生的行为，包括请求包中包含所在节点，RPC端口号和tracking URL等信息，而心跳是周期性 行为，包含请求资源的类型描述、待释放的Container列表等，而AMS则为之返回新分配的Container、失败的Container等信息。

Application管理

ApplicationACLsManager

管理应用程序访问权限，包含两部分权限：查看和修改，查看主要指查看应用程序基本信息，而修改则主要是修改应用程序优先级、杀死应用程序等。

RMAppManager

管理应用程序的启动和关闭。

ContainerAllocationExpirer

YARN不允许AM获得Container后长时间不对其使用，因为这会降低整个集群的利用率。当AM收到RM新分配的一个Container后，必须在一定的时间（默认为10min）内在对应的NM上启动该Container， 否则，RM会回收该Container。

安全管理

ResourceManage自带了非常全面的权限管理 [机制][Link 3]，主要由ClientToAMSecretManager、ContainerTokenSecretManager、ApplicationTokenSecretManager等模块完成。

资源分配

ResourceScheduler

ResourceScheduler是资源调度器，它按照一定的约束条件（比如队列容量限制等）将集群中的资源分配给各个应用程序，当前主要考虑内存资源，在3.0版本中将会考虑CPU（ [https://issues.apache.org/jira/browse/YARN-2][https_issues.apache.org_jira_browse_YARN-2]）。ResourceScheduler是一个插拔式模块，默认是FIFO实现，YARN还提供了Fair Scheduler和Capacity Scheduler两个多租户调度器。

[174531ef9foerhcqiq8cg7.jpg]: /images/20220805/82c15024b9f940fa9d8409eee9207b4f.png
[Link 1]: http://cpro.baidu.com/cpro/ui/uijs.php?c=news&cf=1001&ch=0&di=128&fv=11&jk=cf0b9aaadf36ced0&k=%BD%A1%BF%B5%D7%B4%BF%F6&k0=%BD%A1%BF%B5%D7%B4%BF%F6&kdi0=0&luki=5&n=10&p=baidu&q=92051019_cpr&rb=0&rs=1&seller_id=1&sid=d0ce36dfaa9a0bcf&ssp2=1&stid=0&t=tpclicked3_hc&tu=u1946583&u=http%3A%2F%2Fwww%2Eaboutyun%2Ecom%2Fthread%2D6883%2D1%2D1%2Ehtml&urlid=0
[Link 2]: http://cpro.baidu.com/cpro/ui/uijs.php?c=news&cf=1001&ch=0&di=128&fv=11&jk=cf0b9aaadf36ced0&k=%D7%A2%B2%E1&k0=%D7%A2%B2%E1&kdi0=0&luki=4&n=10&p=baidu&q=92051019_cpr&rb=0&rs=1&seller_id=1&sid=d0ce36dfaa9a0bcf&ssp2=1&stid=0&t=tpclicked3_hc&tu=u1946583&u=http%3A%2F%2Fwww%2Eaboutyun%2Ecom%2Fthread%2D6883%2D1%2D1%2Ehtml&urlid=0
[Link 3]: http://cpro.baidu.com/cpro/ui/uijs.php?c=news&cf=1001&ch=0&di=128&fv=11&jk=cf0b9aaadf36ced0&k=%BB%FA%D6%C6&k0=%BB%FA%D6%C6&kdi0=0&luki=1&n=10&p=baidu&q=92051019_cpr&rb=0&rs=1&seller_id=1&sid=d0ce36dfaa9a0bcf&ssp2=1&stid=0&t=tpclicked3_hc&tu=u1946583&u=http%3A%2F%2Fwww%2Eaboutyun%2Ecom%2Fthread%2D6883%2D1%2D1%2Ehtml&urlid=0
[https_issues.apache.org_jira_browse_YARN-2]: https://issues.apache.org/jira/browse/YARN-2