Yarn与Zookeeper(Eureka)对比

今天药忘吃喽~ 2023-07-13 05:55 5阅读 0赞

**一、解决问题：**

<table> 
 <thead> 
  <tr> 
   <th>Yarn</th> 
   <th>Zookeeper(Eureka)</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1、可扩展性：下一代计算平台应该可以平滑地扩展到数万个节点和并发的应用。</td> 
   <td>1、配置管理与服务命名：统一配置文件分发并且及时让worker生效。</td> 
  </tr> 
  <tr> 
   <td>2、可维护性：下一代计算平台应该保证集群升级与用户应用程序的完全解耦。</td> 
   <td>2、 集群管理和Master选举：Master节点高可用，并且保证唯一 。</td> 
  </tr> 
  <tr> 
   <td>3、多租户：下一代计算平台需要支持一个集群中多个租户并存，同时支持多个租户之间细粒度地共享单个节点。</td> 
   <td>3、分布式锁：保证了数据的强一致性，更新操作要么成功，要么失败，没有第三种结果。</td> 
  </tr> 
  <tr> 
   <td>4、位置感知：对很多应用来说，将计算移动到数据所在的位置是一个重大的进步。</td> 
   <td>4、分布式队列：可以进行生产者与消费者式 。</td> 
  </tr> 
  <tr> 
   <td>5、高集群使用率：下一代计算平台底层物理资源的高使用率。</td> 
   <td>5、监控集群：监控集群应用状态。</td> 
  </tr> 
  <tr> 
   <td>6、安全和可审计操作：下一代计算平台继续以安全的、可审计的方式使用集群资源</td> 
   <td>6、单点故障和负载均衡：实现HA与负载。</td> 
  </tr> 
  <tr> 
   <td>7、可靠性和可用性：下一代计算平台应该有高度的可靠的用户交互，并支持高可用性。</td> 
   <td>7、同步数据：Meta信息的及时同步。</td> 
  </tr> 
  <tr> 
   <td>8、对编程模型多样性的支持：下一代计算平台必须支持多样化的编程模型，需要演进不仅仅以MapReduce 为核心。</td> 
   <td>8、顺序一致性：客户端的更新顺序与它们被发送的顺序一致。</td> 
  </tr> 
  <tr> 
   <td>9、灵活的资源模型：下一代计算平台支持各个节点的动态资源配置以及灵活的资源模型。</td> 
   <td>9、单系统镜像：无论客户端连接到哪一个服务器，他都将看到相同的zookeeper视图。</td> 
  </tr> 
  <tr> 
   <td>10、向后兼容：下一代计算平台应该保持现有MapReduce 应用程序的完全向后兼容。</td> 
   <td>10、可靠性：一旦一个更新操作被应用，那么在客户端再次更新之前，其值不会再改变。</td> 
  </tr> 
 </tbody> 
</table>

**二、架构图：**  
Yarm架构图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNDQ3MzAx_size_16_color_FFFFFF_t_70]  
Zookeeper架构图：  
![在这里插入图片描述][20200310224449232.png]  
Eureka架构图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNDQ3MzAx_size_16_color_FFFFFF_t_70 1]  
**三、调度器与队列：**  
Yran调度器的两个主要功能：1.决定如何划分队列；2.决定如何分配资源。  
Yran调度器是一个可插拔的组件，常见的有FIFO，CapacityScheduler，FairScheduler。可以通过配置文件选择不同的调度器。  
Yran队列：根据不同的调度器，所有的资源被分成一个或多个队列。

Zookeeper分布式调度中心：利用ZooKeeper的Master选举机制实现或者使用Zookeeper的特性，来控制quartz实现分布式调度。  
Zookeeper分布式队列：发布/订阅。数据入队，在一个节点下创建有序子节点，节点中设置需要入队的数据，完成数据的入队操作。数据出队，取出该节点下的所有子节点，如果数量不为0，取出一个子节点，并将子节点删除。

参考：[ RangeYan][RangeYan]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNDQ3MzAx_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200310223729690.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNDQ3MzAx,size_16,color_FFFFFF,t_70
[20200310224449232.png]: https://img-blog.csdnimg.cn/20200310224449232.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNDQ3MzAx_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2020031022455298.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNDQ3MzAx,size_16,color_FFFFFF,t_70
[RangeYan]: http://www.imooc.com/u/4374626