hadoop yarn的三种资源调度器详解
yarn调度器分类
FIFO（先进先出调度器）
Capacity Scheduler （容量调度器）
Fair Scheduler （公平调度器）
注意：Hadoop2.9.2 默认的资源调度器为 容量调度器
区别
FIFO调度器
先进先出，同一时间队列中只有一个任务在执行
按照到达时间排序，先到先服务
有新的服务器节点资源
Job1 里面包含 n个MapTask m个ReduceTask
分配一个Task给该节点
容量调度器
多队列，每个队列内部先进先出，同一时间队列中只有一个任务在执行
队列的并行度为队列的个数
支持多个队列，每个队列可以配置一定的资源量，每个队列采用FIFO调度策略
调度器会对同一用户提交的作业所占资源量机型限定
计算每个队列中正在运行的任务数 与 其应该分得的计算资源之间的比值，选择一个该比值最小的队列 （闲队列）
按照作业优先级和提交时间顺序，同时考虑用户资源量限制和内存限制对队列内任务排序
多个队列同时按照任务的先后顺序依次执行。
比如我们分为三个队列：queueA、queueB和queueC，每个队列的 job 按照到达时间排序。假如这里有100个slot，queueA分配20%的资源，可配置最多运行15个task，queueB 分配50%的资源，可配置最多运行25个task，queueC分配30%的资源，可配置最多运行25个task。这三个队列同时按照任务的先后顺序依次执行，比如，job11、job21和job31分别排在队列最前面，是最先运行，也是同时运行。
公平调度器
多队列；按照缺额排序，缺额大者优先；支持多用户多队列；
缺额：资源有限的情况下，每个job请求获得的计算资源与实际获得的计算资源存在的差距 即为缺额；
每个队列资源量可以配置，同一队列中的作业公平共享队列中的所有资源；
同一队列中，Job的资源缺额越大，越先获得资源优先执行。作业按照缺额的高低来先后执行；
每个队列内存按照缺额大小分配资源启动任务；
同一时间队列中有多个任务执行，队列的并行度大于等于队列的个数。
比如有三个队列：queueA、queueB和queueC，每个队列中的 job 按照优先级分配资源，优先级越高分配的资源越多，但是每个 job 都会分配到资源以确保公平。在资源有限的情况下，每个 job 理想情况下获得的计算资源与实际获得的计算资源存在一种差距， 这个差距就叫做缺额。在同一个队列中，job的资源缺额越大，越先获得资源优先执行。作业是按照缺额的高低来先后执行的，而且可以看到上图有多个作业同时运行。
比眉伴天荒
忘是亡心i
小灰灰
迷南。
还没有评论，来说两句吧...