Yarn框架深入理解【Yarn集群配置】

￡神魔★判官ぃ 2022-02-23 12:22 766阅读 0赞

## 一、Yarn框架产生的背景与原因 ##

我们都知道Hadoop诞生的目标是为了支持十几台机器的搜索服务，但是随着数据的增加，数据的可用性也是一个待解决的问题。但是Hadoop框架的自身问题限制了集群的发展。

首先是，JobTracker和NameNode的单点问题，严重制约了集群的扩展和可靠性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Y2F0c19jbg_size_16_color_FFFFFF_t_70][]

MapReduce采用了基于slot的资源分配模型，slot是一种粗粒度的资源 划分单位，通常一个任务不会用完槽位对应的资源，且其他任务也无法使用这些空闲资源,同时map的槽位和reduce的槽位是不可以通用的。会导致部分资源紧张，部分资源空闲。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Y2F0c19jbg_size_16_color_FFFFFF_t_70 1][]

同时为了满足在线计算等新的计算框架，MapReduce这种离线计算框架已经不能满足需求。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Y2F0c19jbg_size_16_color_FFFFFF_t_70 2][]

**使用Yarn可以提高资源利用率：**

所有计算框架运行在一个集群中，共享一个集群的资源，做到按需分配

## 二、Yarn框架介绍  ##

**Yet Another Resource Negotiator     通用资源管理系统**

**可以为上层框架提供统一的资源管理和调度**

JobTracker在 YARN 中JobTracker大约分成了 3 块：

*  一部分是 ResourceManager，负责 Scheduler 及  
    ApplicationsManager；
 *  一部分是 ApplicationMaster，负责 job 的生命周期管理；
 *  最后一部分是 JobHistroyServer，负责日志的展  
    示。  
    为了支持更多的计算模型，把以前的 TaskTracker 替换成了 NodeManager。NodeManager 管理各种各样的 container。Container  
    才是真正干活的。计算模型相关的事情可以放在 NodeManager 的一个扩展服务中，如 MAP-REDUCE 的 shuffle。

![20190408195010960.gif][]

## 三、各大模块分析 ##

### Client ###

可以向RM(ResourceManager)**提交**任务、杀死任务

### ResourceManager ###

RM 是一个全局的资源管理器，**负责整个系统的资源管理和分配**,包括 scheduler 和 Application Manager, Node Manager

对调度器来说，YARN 提供了多种直接可用的调度器， Fair Scheduler 和 Capacity Scheduler 等。调度器仅根据各个应用程序的资源需求进行资源分配,分配的基本单位是Container,而容器里面是将内存，CPU，网络，磁盘封装到一起。

处理来自客户端的请求：提交、杀死

启动/监控 AM、监控NM

**同时用户也可设计自己的调度器。**

### ApplicationMaster ###

对应用程序管理器来说，，包括应用程序提交、与调度器协商资源以启动 ApplicationMaster、监控 ApplicationMaster 运行状态并在失败时重新启动它等。**用户提交的每个应用程序均包含一个 ApplicationMaster,ApplicationMaster可以与RM协商申请获取资源，也可以将得到的任务进行再分配，与NM通信启动对应的Task，同时可以监控所有的任务状态。数据切分，为每个task向RM申请资源(在container执行),与NodeManager通信，实现任务的监控【如某个Task挂掉后需要重启等】**

### NodeManager ###

NodeManager 管理 container、资源下载、健康检测后汇报 对节点管理器来说，NM是每个节点上的资源和任务管理器，一方面，它会定时地向 RM 汇报本节点上的 资源使用情况和各个 Container 的运行状态；另一方面，它接收并处理来自 AM 的 Container 启动 / 停止等各种请求。

### Container ###

Container 是 YARN 中的资源抽象，它封装了某个节点上的多维度资源，如内存、 CPU、磁盘、网络等，当 AM 向 RM 申请资源时，RM 为 AM 返回的资源便是用 Container 表示的。YARN 会为每个任务分配一个 Container，且该任务只能使用该 Container 中描述的 资源。容器是一个动态划分资源。

### Jobhistory 机制 ###

在 MRv1 中，JobHistroy server 是嵌入在 Jobtracker 中的，当有大量的查询 时，对 Jobtracker 造成很大的压力.Yarn中实现一套单独的 JobHistroy server 服务。AggregatedLogDeletionService：日志文件的 管理。  HistoryClientService：提供一些服务供 JobClient 查询。

## 四、Yarn工作流程 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Y2F0c19jbg_size_16_color_FFFFFF_t_70 3][]

*  1.客户端Client 向 YARN 中提交应用程序，其中包括 ApplicationMaster 程序、启动 ApplicationMaster 的命令、用户程序等。
 *  2.ResourceManager 为该应用程序分配第一个 Container，并与对应的 NodeManager 通信，要求它在这个 Container 中启动应用程序的 ApplicationMaster。
 *  3　ApplicationMaster 首先向 ResourceManager 注册，这样用户可以直接通过 ResourceManage 查看应用程序的运行状态，然后它将为各个任务申请资源，并监控它的运行状态，直到运行结束，即重复步骤 4~7。
 *  4　ApplicationMaster 采用轮询的方式通过 RPC 协议向 ResourceManager 申请和领取资源。 
 *  5.　一旦 ApplicationMaster 申请到资源后，便与对应的 NodeManager 通信，要求它启动任务。
 *  6.　NodeManager 为任务设置好运行环境（包括环境变量、JAR 包、二进制程序 等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。
 *  7.　各个任务通过某个 RPC 协议向 ApplicationMaster 汇报自己的状态和进度，以让 ApplicationMaster 随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。 在应用程序运行过程中，用户可随时通过 RPC 向 ApplicationMaster 查询应用程序的当前运行状态。
 *  8.　应用程序运行完成后， ApplicationMaster 向 ResourceManager 注销并关闭自己。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Y2F0c19jbg_size_16_color_FFFFFF_t_70 4][]

## 五、Yarn集群配置 ##

node manager在物理上应该跟data node部署在一起

resource manager在物理上应该独立部署在一台专门的机器上

cd /root/apps/hadoop-2.8.5/etc/hadoop

1、修改配置文件：

vi yarn-site.xml

<configuration>
      <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hdp-01</value>
      </property>
    
    
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
    </configuration>

其中，名称yarn.resourcemanager.hostname指的是运行ResourceManager机器所在的节点位置；名称yarn.nodemanager.aux-services在hadoop2.2.0版本中是mapreduce\_shuffle，一定要看清楚。

修改mapred-site.xml，内容如下(默认是template后缀结尾,去掉后缀改为xml即可)

<configuration> 
     <property> 
      <name>mapreduce.framework.name</name> 
      <value>yarn</value> 
     </property> 
    </configuration>

其中，名称mapreduce.framework.name指的是使用yarn运行mapreduce程序。

启动了HDFS之后，就可以启动yarn了。执行命令start-yarn.sh即可启动MapReduce集群。

1.  scp这个yarn-site.xml到其他节点
    
        scp yarn-site.xml hdp-02:$PWD
        scp yarn-site.xml hdp-03:$PWD
2.  启动yarn集群：start-yarn.sh  （注：该命令应该在resourcemanager所在的机器上执行）
3.  用jps检查yarn的进程，用web浏览器查看yarn的web控制台

**http://hdp-01:8088**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Y2F0c19jbg_size_16_color_FFFFFF_t_70 5][]

关于参数yarn-site.xml 修改

[http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml][http_hadoop.apache.org_docs_stable_hadoop-yarn_hadoop-yarn-common_yarn-default.xml]

## 六、MapReduce程序在Yarn启动-运行-注销全流程 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Y2F0c19jbg_size_16_color_FFFFFF_t_70 6][]

--------------------

本文部分参考文章：https://www.jianshu.com/p/bac54467ac3a

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Y2F0c19jbg_size_16_color_FFFFFF_t_70]: /images/20220223/560d62fc234a4a7b893e3d692b7bef4a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Y2F0c19jbg_size_16_color_FFFFFF_t_70 1]: /images/20220223/a963d39f4b104d259c3e94915d3ba25c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Y2F0c19jbg_size_16_color_FFFFFF_t_70 2]: /images/20220223/d523eeac2f174abfaae951478f5b1ee7.png
[20190408195010960.gif]: /images/20220223/db7d6a095c01418d896ffb239b9e9688.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Y2F0c19jbg_size_16_color_FFFFFF_t_70 3]: /images/20220223/f7ab26c07b0a4ee9a61f7520dcf4dd14.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Y2F0c19jbg_size_16_color_FFFFFF_t_70 4]: /images/20220223/5912126b516346e08dc1fa3ed267389c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Y2F0c19jbg_size_16_color_FFFFFF_t_70 5]: /images/20220223/3ff94fdb79e04e64b71fe3b5ec579e17.png
[http_hadoop.apache.org_docs_stable_hadoop-yarn_hadoop-yarn-common_yarn-default.xml]: http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Y2F0c19jbg_size_16_color_FFFFFF_t_70 6]: /images/20220223/f1f564e535004d0ab5d7926eca2d9510.png