【mongodb】——数据库高可用集群构建模式之——mongodb篇

灰太狼 2023-07-22 11:25 8阅读 0赞

### 一、前言 ###

1、写在前边的废话

最近因工作原因接触了mysql、mongodb、redis、elasticsearch等几个数据库的高可用集群搭建，深感自己对分布式数据库知识的欠缺。特此好好研读了一下几个数据库的集群搭建原理，出一个系列。

2、真正的前言

`  Mongodb一共有三种集群搭建的方式：`

*  `Replica Set（副本集）`
 *  `Sharding（切片）`
 *  `Master-Slaver（主从）【目前已不推荐使用了！！！】`

### 二、**Mongodb副本集（Replica Sets）** ###

mongodb 不推荐主从复制,推荐建立副本集(Replica Set)来保证1个服务挂了,可以有其他服务顶上,程序正常运行,几个服务的数据都是一样的,后台自动同步。主从复制其实就是一个单副本的应用，没有很好的扩展性饿容错性。然而副本集具有多个副本保证了容错性，就算一个副本挂掉了还有很多个副本存在，并且解决了"主节点挂掉后，整个集群内会自动切换"的问题。副本集比传统的Master-Slave主从复制有改进的地方就是它可以进行故障的自动转移,如果我们停掉复制集中的一个成员,那么剩余成员会再自动选举一个成员,作为主库。  
       Replica Set 使用的是 n 个 mongod 节点,构建具备自动的容错功能(auto-failover),自动恢复的(auto-recovery)的高可用方案。使用 Replica Set 来实现读写分离。通过在连接时指定或者在主库指定 slaveOk,由Secondary 来分担读的压力,Primary 只承担写操作。对于 Replica Set 中的 secondary 节点默认是不可读的。

1、副本集的结构及原理

MongoDB 的副本集不同于以往的主从模式。在集群Master故障的时候,副本集可以自动投票,选举出新的Master,并引导其余的Slave服务器连接新的Master,而这个过程对于应用是透明的。可以说MongoDB的副本集是自带故障转移功能的主从复制。传统的主从模式,需要手工指定集群中的 Master。如果 Master 发生故障,一般都是人工介入,指定新的 Master。 这个过程对于应用一般不是透明的,往往伴随着应用重新修改配置文件,重启应用服务器等。而 MongoDB 副本集,集群中的任何节点都可能成为 Master 节点。一旦 Master 节点故障,则会在其余节点中选举出一个新的 Master 节点。 并引导剩余节点连接到新的 Master 节点。这个过程对于应用是透明的。

![format_png][]

一个副本集即为服务于同一数据集的多个 MongoDB 实例,其中一个为主节点,其余的都为从节点。主节 点上能够完成读写操作,从节点仅能用于读操作。主节点需要记录所有改变数据库状态的操作,这些记录 保存在 oplog 中,这个文件存储在 local 数据库,各个从节点通过此 oplog 来复制数据并应用于本地,保持 本地的数据与主节点的一致。oplog 具有幂等性,即无论执行几次其结果一致,这个比 mysql 的二进制日 志更好用。集群中的各节点还会通过传递心跳信息来检测各自的健康状况。当主节点故障时,多个从节点会触发一次 新的选举操作,并选举其中的一个成为新的主节点(通常谁的优先级更高,谁就是新的主节点),心跳信 息默认每 2 秒传递一次。

![format_png 1][]

![format_png 2][]

客户端连接到副本集后，不关心具体哪一台机器是否挂掉。主服务器负责整个副本集的读写，副本集定期同步数据备份。一旦主节点挂掉，副本节点就会选举一个新的主服务器。这一切对于应用服务器不需要关心。副本集中的副本节点在主节点挂掉后通过心跳机制检测到后，就会在集群内发起主节点的选举机制，自动选举出一位新的主服务器。副本集包括三种节点:主节点、从节点、仲裁节点。

![format_png 3][]

官方推荐MongoDB副本节点最少为3台， 建议副本集成员为奇数，最多12个副本节点,最多7个节点参与选举。限制副本节点的数量,主要是因为一个集群中过多的副本节点,增加了复制的成本,反而拖累了集群的整体性能。 太多的副本节点参与选举,也会增加选举的时间。而官方建议奇数的节点,是为了避免脑裂 的发生。

### **三、Mongodb分片集群（Sharding）** ###

Sharding cluster是一种可以水平扩展的模式,在数据量很大时特给力,实际大规模应用一般会采用这种架构去构建。sharding分片很好的解决了单台服务器磁盘空间、内存、cpu等硬件资源的限制问题，把数据水平拆分出去，降低单节点的访问压力。每个分片都是一个独立的数据库，所有的分片组合起来构成一个逻辑上的完整的数据库。因此，分片机制降低了每个分片的数据操作量及需要存储的数据量，达到多台服务器来应对不断增加的负载和数据的效果。

**     1、为何需要水平分片**  
1）减少单机请求数,将单机负载,提高总负载   
2）减少单机的存储空间,提高总存空间

![format_png 4][]

**2、mongodb sharding 服务器架构**

![format_png 5][]

**     3、分片集群的构造如下：**

![format_png 6][]

分片集群由以下3个服务组成：  
Shards Server: 每个shard由一个或多个mongod进程组成，用于存储数据  
Config Server: 用于存储集群的Metadata信息，包括每个Shard的信息和chunks信息  
Route Server: 用于提供路由服务，由Client连接，使整个Cluster看起来像单个DB服务器

###  四、参考文章 ###

1、[MongoDB 分片集群技术][MongoDB]

2、[Mongodb主从复制 及 副本集＋分片集群梳理][Mongodb_ _]

[format_png]: /images/20230528/4a593b785be54276ab9c3d0177e66db1.png
[format_png 1]: /images/20230528/11a255748bad44f984a2b34fe6f3fa87.png
[format_png 2]: /images/20230528/5ec5a227f5cf4e73a03886ac45dc6bf8.png
[format_png 3]: /images/20230528/d7603b4b5b1143b8bf52a8ed4ff37cac.png
[format_png 4]: /images/20230528/0b3b57e0eb4f4d86b6f12e5759538986.png
[format_png 5]: /images/20230528/8636d27d4d174d698b63969130b434b0.png
[format_png 6]: /images/20230528/dae5c881a92445298e0e9e2df2916454.png
[MongoDB]: https://www.cnblogs.com/clsn/p/8214345.html
[Mongodb_ _]: https://www.cnblogs.com/nulige/p/7613721.html