YARN中的调度器

太过爱你忘了你带给我的痛 2022-08-30 04:23 183阅读 0赞

大家可以想象一个场景，我们集群的资源是有限的，在实际工作中会有很多人向集群中提交任务，那这时候资源如何分配呢?  
如果你提交了一个很占资源的任务，这一个任务就把集群中90%的资源都占用了，后面别人再提交任务， 剩下的资源就不够用了，这个时候怎么办?  
让他们等你的任务执行完了再执行?还是说你把你的资源匀出来一些分给他，你少占用一些，让他也能慢慢的开始

具体如何去做这个是由YARN中的调度器负责的  
YARN中支持三种调度器：

*  1:FIFO Scheduler:先进先出(first in, first out)调度策略
 *  2:Capacity Scheduler:FIFO Scheduler的多队列版本
 *  3:FairScheduler:多队列，多用户共享资源

下面来看图分析一下这三种调度器的特性  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x0MzI2MDMwNDM0_size_16_color_FFFFFF_t_70]

*  FIFO Scheduler:是先进先出的，大家都是排队的，如果你的任务申请不到足够的资源，那你就等着，等前面的任务执行结束释放了资源之后你再执行。这种在有些时候是不合理的，因为我们有一些任务的优先级比较高，我们希望任务提交上去立刻就开始执行，这个就实现不了了。
 *  CapacityScheduler:它是FifoScheduler的多队列版本，就是我们先把集群中的整块资源划分成多份，我们可以人为的给这些资源定义使用场景，例如图里面的queue A里面运行普通的任务， queueB中运行优先级比较高的任务。这两个队列的资源是相互对立的，但是注意一点，队列内部还是按照先进先出的规则。
 *  FairScheduler:支持多个队列，每个队列可以配置一定的资源，每个队列中的任务共享其所在队列的所有资源，不需要排队等待资源。具体是这样的，假设我们向一个队列中提交了一个任务，这个任务刚开始会占用整个队列的资源，当你再提交第二个任务的时候，第一个任务会把他的资源释放出来一部分给第二个任务使用

在实际工作中我们一般都是使用第二种， `CapacityScheduler` ，从hadoop2开始， CapacityScheduler也是集群中的默认调度器了

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x0MzI2MDMwNDM0_size_16_color_FFFFFF_t_70]: /images/20220829/1ab819e6832148ed959966f794b27b95.png