集群与分布式

怼烎@ 2022-07-24 04:12 243阅读 0赞

### **前言** ###

首先，对于集群，分布式，是个很高大上的两个名词，特别在电商，互联网企业，你要是不知道这两个概念，你都不好意思和别人打招呼，当然是说笑的啦，里面涉及的技术有很多，但是起码知道下概念，对你没有很么害处，至少听到别人吹牛的时候，自己也能插句嘴。

虽说毕业不久，至少实习期间在一家电商公司实习过，对于分布式和集群也算有一些接触，只是研究得并不深入，毕竟实习水平，之后在传统企业上班，当然基本接触不到这些高深技术啦，比如分布式服务框架Dubbo、分布式服务中心Zookeeper，分布式缓存Memcache等等。

### **概念** ###

#### **1、集群** ####

##### 1.1、两大关键特性 #####

集群是一组协同工作的服务实体，用以提供比单一服务实体更具扩展性与可用性的服务平台。在客户端看来，一个集群就象是一个服务实体，但事实上集群由一组服务实体组成。与单一服务实体相比较，集群提供了以下两个关键特性：

*  **可扩展性**－－集群的性能不限于单一的服务实体，新的服务实体可以动态地加入到集群，从而增强集群的性能。
 *  **高可用性**－－集群通过服务实体冗余使客户端免于轻易遇到out of service的警告。在集群中，同样的服务可以由多个服务实体提供。如果一个服务实体失败了，另一个服务实体会接管失败的服务实体。集群提供的从一个出 错的服务实体恢复到另一个服务实体的功能增强了应用的可用性。

##### 1.2、两大能力 #####

为了具有可扩展性和高可用性特点，集群的必须具备以下两大能力：

*  负载均衡－－负载均衡能把任务比较均衡地分布到集群环境下的计算和网络资源。
 *  错误恢复－－由于某种原因，执行某个任务的资源出现故障，另一服务实体中执行同一任务的资源接着完成任务。这种由于一个实体中的资源不能工作，另一个实体中的资源透明的继续完成任务的过程叫错误恢复。

负载均衡和错误恢复都要求各服务实体中有执行同一任务的资源存在，而且对于同一任务的各个资源来说，执行任务所需的信息视图（信息上下文）必须是一样的。

##### 1.3、两大技术 #####

实现集群务必要有以下两大技术：

*  集群地址－－集群由多个服务实体组成，集群客户端通过访问集群的集群地址获取集群内部各服务实体的功能。具有单一集群地址（也叫单一影像）是集群的一个基 本特征。维护集群地址的设置被称为负载均衡器。负载均衡器内部负责管理各个服务实体的加入和退出，外部负责集群地址向内部服务实体地址的转换。有的负载均 衡器实现真正的负载均衡算法，有的只支持任务的转换。只实现任务转换的负载均衡器适用于支持ACTIVE-STANDBY的集群环境，在那里，集群中只有 一个服务实体工作，当正在工作的服务实体发生故障时，负载均衡器把后来的任务转向另外一个服务实体。
 *  内部通信－－为了能协同工作、实现负载均衡和错误恢复，集群各实体间必须时常通信，比如负载均衡器对服务实体心跳测试信息、服务实体间任务执行上下文信息的通信。

具有同一个集群地址使得客户端能访问集群提供的计算服务，一个集群地址下隐藏了各个服务实体的内部地址，使得客户要求的计算服务能在各个服务实体之间分布。内部通信是集群能正常运转的基础，它使得集群具有均衡负载和错误恢复的能力。

##### **1.4、集群分类** #####

**1. 高可用集群(High Availability Cluster)**

常见的就是2个节点做成的HA集群，有很多通俗的不科学的名称，比如**”双机热备”, “双机互备”, “双机”**.  
高可用集群解决的是保障用户的应用程序持续对外提供服务的能力。 (请注意高可用集群既不是用来保护业务数据的，保护的是用户的业务程序对外不间断提供服务，把因软件/硬件/人为造成的故障对业务的影响降低到最小程度)。

**2. 负载均衡集群(Load Balance Cluster)**

负载均衡系统：集群中所有的节点都处于活动状态，它们分摊系统的工作负载。一般Web服务器集群、数据库集群和应用服务器集群都属于这种类型。

负载均衡集群一般用于相应网络请求的网页服务器，数据库服务器。这种集群可以在接到请求时，检查接受请求较少，不繁忙的服务器，并把请求转到这些服务器上。从检查其他服务器状态这一点上看，负载均衡和容错集群很接近，不同之处是数量上更多。

**3. 科学计算集群(High Performance Computing Cluster)**

高性能计算(High Perfermance Computing)集群，简称HPC集群。这类集群致力于提供单个计算机所不能提供的强大的计算能力。

高性能计算分类：　  
　  
3.1、高吞吐计算(High-throughput Computing)  
　  
有一类高性能计算，可以把它分成若干可以并行的子任务，而且各个子任务彼此间没有什么关联。象在家搜寻外星人（ SETI@HOME – Search for Extraterrestrial Intelligence at Home ）就是这一类型应用。这一项目是利用Internet上的闲置的计算资源来搜寻外星人。SETI项目的服务器将一组数据和数据模式发给Internet上 参加SETI的计算节点，计算节点在给定的数据上用给定的模式进行搜索，然后将搜索的结果发给服务器。服务器负责将从各个计算节点返回的数据汇集成完整的 数据。因为这种类型应用的一个共同特征是在海量数据上搜索某些模式，所以把这类计算称为高吞吐计算。所谓的Internet计算都属于这一类。按照 Flynn的分类，高吞吐计算属于SIMD（Single Instruction/Multiple Data）的范畴。  
　　  
3.2、分布计算(Distributed Computing)

另一类计算刚好和高吞吐计算相反，它们虽然可以给分成若干并行的子任务，但是子任务间联系很紧密，需要大量的数据交换。按照Flynn的分类，分布式的高性能计算属于MIMD（Multiple Instruction/Multiple Data）的范畴。

#### **2、分布式** ####

一种基于网络的计算机处理技术，与集中式相对应。由于个人计算机的性能得到极大的提高及其使用的普及，使处理能力分布到网络上的所有计算机成为可能。分布式计算是和集中式计算相对立的概念，分布式计算的数据可以分布在很大区域。

简单来说，分布式处理就是多台相连的计算机各自承担同一工作任务的不同部分，在人的控制下，同时运行，共同完成同一件工作任务。

### 举例 ###

例如：

如果一个任务由10个子任务组成，每个子任务单独执行需1小时，则在一台服务器上执行改任务需10小时。

采用分布式方案，提供10台服务器，每台服务器只负责处理一个子任务，不考虑子任务间的依赖关系，如果十个任务并行执行，那么执行完这个任务只需一个小时。(这种工作模式的一个典型代表就是Hadoop的Map/Reduce分布式计算模型），执行十个任务需要十个小时。

而采用集群方案，同样提供10台服务器，每台服务器都能独立处理这个任务。假设有10个任务同时到达，10个服务器将同时工作，每个服务器都有能力处理每个任务拆分后的十个子任务，10小后，10个任务同时完成，这样，整身来看，还是平均1小时完成一个任务！（注意这里的任务和子任务的区别）

所以从上面看，不管是采用集群还是分布式，执行10个任务的时间都是10个小时，只是采取的方式不一样。

> 简单说，**集群是通过提高单位时间内执行的任务数来提升效率，而分布式则是以缩短单个任务的执行时间来提升效率的。**

即集群中的每台服务器上面的内容都是一样的，每台服务器都有能力处理整个任务，而分布式服务器上面可执行的是每一个子任务，每台服务器并不具备完整执行每个任务的能力，所以当一个任务到达，拆分成十个子任务，每个子任务对应特定能执行这个子任务的服务器去完成。

### 经典解释 ###

> **集群使用来解决高可用的问题，分布式用来解决高性能、高并发的问题**

--------------------

> **分布式：一个业务分拆多个子业务，部署在不同的服务器上**  
> **集群：同一个业务，部署在多个服务器上**

--------------------

> **集群是个物理形态，分布式是个工作方式。**

### 集群与分布式的联系与区别 ###

分布式是指将不同的业务分布在不同的地方。  
而集群指的是将几台服务器集中在一起，实现同一业务。  
**分布式中的每一个节点，都可以做集群。而集群并不一定就是分布式的。**

举例：就比如新浪网，访问的人多了，他可以做一个集群，前面放一个响应服务器，后面几台服务器完成同一业务，如果有业务访问的时候，响应服务器看哪台服务器的负载不是很重，就将给哪一台去完成。  
而分布式，从窄意上理解，也跟集群差不多， 但是它的组织比较松散，不像集群，有一个组织性，一台服务器垮了，其它的服务器可以顶上来。  
分布式的每一个节点，都完成不同的业务，一个节点垮了，哪这个业务就不可访问了。

**目前高可用和负载均衡的实现目前主流的两种是：Nginx/LVS**

阿里巴巴的Dubbo服务框架还是不错的，没用过的可以了解一下，它需要使用一个服务中心，默认是multicast广播形式，官方推荐是zookeeper，以前公司也是用的zookeeper，服务端将服务发布到注册中心，当客户端请求过来的时候，注册中心会返回服务器调用的连接给客户端，这里是有负载均衡机制的，会根据服务的调用情况，选择同一个服务负载程度低的那个，还有容灾机制，还支持很多高级特性，具体看以后会不会单独出一章有关Dubbo入门的文章。  
自学也可以去看看官方文档示例：[http://dubbo.io/User+Guide-zh.htm][http_dubbo.io_User_Guide-zh.htm]

--------------------

参考：  
[http://blog.csdn.net/u013142781/article/details/51307229][http_blog.csdn.net_u013142781_article_details_51307229]  
[http://my.oschina.net/004/blog/170560][http_my.oschina.net_004_blog_170560]  
[http://blog.csdn.net/bluishglc/article/details/5483162][http_blog.csdn.net_bluishglc_article_details_5483162]  
[http://krpano.com/docu/actions/\#mul][http_krpano.com_docu_actions_mul]  
[http://dubbo.io/User+Guide-zh.htm][http_dubbo.io_User_Guide-zh.htm]

[http_dubbo.io_User_Guide-zh.htm]: http://dubbo.io/User+Guide-zh.htm
[http_blog.csdn.net_u013142781_article_details_51307229]: http://blog.csdn.net/u013142781/article/details/51307229
[http_my.oschina.net_004_blog_170560]: http://my.oschina.net/004/blog/170560
[http_blog.csdn.net_bluishglc_article_details_5483162]: http://blog.csdn.net/bluishglc/article/details/5483162
[http_krpano.com_docu_actions_mul]: http://krpano.com/docu/actions/#mul