轻松入门大数据第5章入门到进阶：玩转资源管理系统YARN 5.1 Hadoop之YARN 5.1.14 调度器之CapacityScheduler深入详解

浅浅的花香味﹌ 2024-03-17 10:22 29阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第5章 入门到进阶：玩转资源管理系统YARN
         *   *  5.1 Hadoop之YARN
             *   *  5.1.14 调度器之CapacityScheduler深入详解

![在这里插入图片描述][d126172467ac4c038a7082938d792cc8.png_pic_center]

#### 第5章 入门到进阶：玩转资源管理系统YARN ####

##### 5.1 Hadoop之YARN #####

> 1.  产生背景
> 2.  核心组件及职责
> 3.  工作原理
> 4.  环境部署
> 5.  核心命令
> 6.  调度器

###### 5.1.14 调度器之CapacityScheduler深入详解 ######

官方文档：[https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html][https_hadoop.apache.org_docs_stable_hadoop-yarn_hadoop-yarn-site_CapacityScheduler.html]

![在这里插入图片描述][adadbdca94aa48bd9f5a6cf3168631ed.png_pic_center]

大俗话，容量调度。【重要！思想！】

本文档描述了`CapacityScheduler`一个用于 Hadoop 的可插拔调度程序，它允许多租户安全地共享一个大型集群，以便他们的应用程序在**分配容量的约束下**及时分配资源。

![在这里插入图片描述][df0623f295424e85908b9d2e6c2ded61.png_pic_center]

多租户？

![在这里插入图片描述][635aedc678ab4176af52b4d58a79b9ee.png_pic_center]

现在有A、B、C三个部门和一个大资源集群，如何分配资源、如何隔离资源是应该着重考虑的。

`CapacityScheduler`旨在操作员以友好的方式将 Hadoop 应用程序作为共享的多租户集群运行，同时最大限度地提高集群的吞吐量和利用率。

![在这里插入图片描述][f45ccea43574436788fb42873898cf03.png_pic_center]

传统上，每个组织都有自己的一组私有计算资源，这些资源具有足够的容量来满足组织在高峰或接近高峰条件下的 SLA(服务)。

这通常会导致管理多个独立集群（每个组织一个）的平均利用率和开销较差。在组织之间**共享集群**是运行大型 Hadoop 安装的一种经济高效的方式，因为这允许他们在不创建私有集群的情况下获得规模经济的好处。

但是，组织担心共享集群，因为他们担心其他人使用对他们的 SLA 至关重要的资源。

而`CapacityScheduler`旨在允许共享大型集群，同时为每个组织**提供容量保证**。

中心思想是 Hadoop 集群中的可用资源由多个组织共享，这些组织根据其计算需求共同资助集群。还有一个额外的好处，即组织**可以访问其他人未使用的任何多余容量**。这以具有成本效益的方式为组织提供了**弹性**。

跨组织共享集群需要对多租户的强大支持，因为每个组织都必须保证容量和安全防护，以确保共享集群不受单个恶意应用程序或用户或其集合的影响。提供`CapacityScheduler`了一组严格的限制，以确保单个应用程序或用户或队列不会消耗集群中不成比例的资源量。此外，还`CapacityScheduler`对来自单个用户和队列的已初始化和待处理应用程序进行了限制，以确保集群的公平性和稳定性。

提供的主要抽象是\*队列`CapacityScheduler`的概念。【队列是核心】这些队列通常由管理员设置以反映共享集群的经济性。

使用队列实现资源隔离分配

【特点】

*  分层队列
    
    ![在这里插入图片描述][817ff6da6f79470d90f1b2683c6eb7ac.png_pic_center]
 *  容量保证
 *  安全性【操作权限】
 *  弹性【空闲资源可以借给别人用】
 *  多租户
 *  可操作性
 *  基于资源的调度
 *  基于默认或用户自定义放置规则的队列映射接口
 *  优先级调度【优先级高的可以插队】
 *  绝对资源配置
 *  叶队列的动态自动创建和管理

[d126172467ac4c038a7082938d792cc8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b8a27e654a8f4f00bd30ca7bccd0f834.png
[https_hadoop.apache.org_docs_stable_hadoop-yarn_hadoop-yarn-site_CapacityScheduler.html]: https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html
[adadbdca94aa48bd9f5a6cf3168631ed.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/7e6cc8d16feb46b0aa1e507331b6179e.png
[df0623f295424e85908b9d2e6c2ded61.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/d15e1dcc7cb544fe9da2da169f75f079.png
[635aedc678ab4176af52b4d58a79b9ee.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/dd7fb43d96cc48daa90f67a1623ba126.png
[f45ccea43574436788fb42873898cf03.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/d86b1aacdf144b089eb2228b7eb864b6.png
[817ff6da6f79470d90f1b2683c6eb7ac.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/54455fe0301e4ed2afa72a2eccdb5477.png