yarn资源调度---capacity Scheduler和 Fair Scheduler

叁歲伎倆 2022-06-05 11:20 311阅读 0赞

### 1 调度器(Resource Scheduler) ###

1 FIFO Scheduler
        按照作业提交顺序放到先进先出的队列中执行
    2 Capacity Scheduler（apache版本默认）
    	apache版本默认使用的
    	将不同作业放到不同队列中，每个队列按照FIFO或DRF进行分配资源
    3 Fair Scheduler（cdh版本默认）
    	CDH版本默认使用的
    	动态划分或指定多个队列，每个队列按照Fair(默认)或FIFO或DRF(主资源公平算法)

进行分配资源

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 2]

### 2 capacity Scheduler资源调度 ###

[apache版本资源调度的方式官网][apache]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 3]

2.1 默认什么都不配置的情况下是默认的default的队列。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 4]  
2.2 下面配置几个队列角色，具体配置如下

首先需要在`yarn-site.xml`文件中配置我们的调度方式。

<property>
       <name>yarn.resourcemanager.scheduler.class</name>
       <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    </property>

然后再`capacity-scheduler.xml`配置文件中加入下面的调度的队列和分配情况。具体配置如下：

<property>
        <name>yarn.scheduler.capacity.root.queues</name>
        <value>prod,dev</value>
      </property>
    
     <property>
        <name>yarn.scheduler.capacity.root.prod.queues</name>
        <value>bi,bling</value>
      </property>
    
      <property>
        <name>yarn.scheduler.capacity.root.prod.capacity</name>
        <value>70</value>
      </property>
    
      <property>
        <name>yarn.scheduler.capacity.root.dev.capacity</name>
        <value>30</value>
      </property>
    
      <property>
        <name>yarn.scheduler.capacity.root.prod.maximum-capacity</name>
        <value>90</value>
      </property>
    
       <property>
        <name>yarn.scheduler.capacity.root.prod.bi.capacity</name>
        <value>50</value>
      </property>
      
     <property>
        <name>yarn.scheduler.capacity.root.prod.bling.capacity</name>
        <value>50</value>
      </property>

2.3 重新启动yarn集群

[root@wyl02 sbin]# ./stop-yarn.sh 
    [root@wyl02 sbin]# ./start-yarn.sh

2.4重启后，我们执行一个wordcount的mapreducede任务

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount -Dmapreduce.job.queuename=bi file:/opt/hadoop/LICENSE.txt file:/outputbi

`-Dmapreduce` 参数是选择其中一个角色  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 5]  
从上图我们可以看到，这里选用的生产环境的bi队列角色去跑的任务

### 3 Fair Scheduler资源调度 ###

[cdh版本资源调度方式官网][cdh]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 6]apache版本的默认的调度方式是容器的调度方式，这里我们再在`yarn-site.xml`中配置如下配置内容

<property>
       <name>yarn.resourcemanager.scheduler.class</name>
       <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>

配置好后，我们就可以直接启动yarn集群，启动指令上述2.3步骤。启动后，我们看到下面的资源调度的方式就变成公平调度方式了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 7]  
这里如果直接运行作业的话，就创建一个以当前登录用户名为队列名的队列运行如下图所示第二个root是指用的是root用户提交的作业；如果运行作业时指定了队列名，就在指定的队列中运行。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 8]  
配置fair-scheduler.xml文件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 9]  
配置`fair-scheduler.xml`文件，内容如下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 10]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70]: /images/20220605/9197a3b5df5d4e80815c4714da7547c0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 1]: /images/20220605/f349a33321e0464eb05cf35f82fa4ba9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 2]: /images/20220605/277bca75ba3441f1abd58d05f76e549b.png
[apache]: http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 3]: /images/20220605/080a1661403a4b7e8569d715721bc6f5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 4]: /images/20220605/f69982f6e7584619ae890c9a484256f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 5]: /images/20220605/71587b6d6b4644089ee6e282eb571cbd.png
[cdh]: http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.9.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 6]: /images/20220605/265466a4c33e4ec3826acd7585ee8628.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 7]: /images/20220605/ac3e94a8786f45d887a1ae837d56695f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 8]: /images/20220605/f583aac1f1764e0e866901452c8171c8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 9]: /images/20220605/54f2fafad6bd42c3a13e5f8baa300411.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d5bDk1Mjc_size_16_color_FFFFFF_t_70 10]: /images/20220605/7e169843669d41f8919491b9d2dd84af.png