zookeeper 的读写状态

亦凉 2023-02-22 12:27 17阅读 0赞

**一、****zookeeper** **与****kafka****保持数据一致性的不同点：**

**(1)zookeeper****使用了****ZAB(****Zookeeper Atomic Broadcast****)****协议，保证了****leader,follower****的一致性，****leader** **负责数据的读写，而****follower****只负责数据的读****，如果****follower****遇到写操作，会提交到****leader;**

**当****leader****宕机的话，使用** Fast Leader Election **快速选举出新的****leader,****节点在一开始都处于选举阶段，****只要有一个节点得到超半数节点的票数****，它就可以当选准** **leader****。**

** ****其客户端根据链接的****follower****不同，可能读取到不同的数据。这是由于副本没有完全同步，存在时间差的原因。由于****follower****分担了读取数据的压力，****zookeeper****只要保留全局****leader****即可，不再进行细分。**

**如下所示：****leader==****》读写，****follower==>****只负责读；**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3c4OTI4MjQxOTY_size_16_color_FFFFFF_t_70][]

Zookeeper工作方式

》Zookeeper集群包含一个1个Leader，多个Follower

》所有的Follower都可提供读服务

》所有的写操作都会被forward到Leader

》Client与Server通过NIO通信

》全局串行化所有的写操作

》保证同一客户端的指令被FIFO执行

》保证消息通知的FIFO

** (2)kafka** **不同，****只有****leader** **负责读写，****follower****只负责备份****，如果****leader****宕机的话****,Kafaka****动态维护了一个同步状态的副本的集合（****a set of in-sync replicas****），简称****ISR****,ISR****中有****f+1****个节点，就可以允许在****f****个节点****down****掉的情况下不会丢失消息并正常提供服****。****ISR****的成员是动态的，如果一个节点被淘汰了，当它重新达到****“****同步中****”****的状态时，他可以重新加入****ISR****。因此如果****leader****宕了，直接从****ISR****中选择一个****follower****就行。**

kafka在引入Replication之后，同一个Partition可能会有多个Replica，而这时需要在这些Replication之间选出一个Leader，Producer和Consumer只与这个Leader交互，其它Replica作为Follower从Leader中复制数据。因为需要保证同一个Partition的多个Replica之间的数据一致性（其中一个宕机后其它Replica必须要能继续服务并且即不能造成数据重复也不能造成数据丢失）。如果没有一个Leader，所有Replica都可同时读/写数据，那就需要保证多个Replica之间互相（N×N条通路）同步数据，数据的一致性和有序性非常难保证，大大增加了Replication实现的复杂性，同时也增加了出现异常的几率。而引入Leader后，只有Leader负责数据读写，Follower只向Leader顺序Fetch数据（N条通路），系统更加简单且高效。

Kafka：由于kafka的使用场景决定，其读取数据时更关注数据的一致性  
从leader读取和写入可以保证所有客户端都得到相同的数据，否则可能存在一些在ISR中注册的节点（replication-factor大于min.insync.replicas），因未来得及更新副本而无法提供的数据。相应的为了规避都从leader上读取带来的资源竞争，可以根据不同topic和不同partition设置不同的leader。

**如下所示：****leader==>****负责读写，****follower** **负责同步，只负责备份**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3c4OTI4MjQxOTY_size_16_color_FFFFFF_t_70 1][]

Zab协议\-广播模式

客户端每发送一个更新请求，ZooKeeper都会生成一个全局唯一的递增编号，这个编号反映了所有事务操作的先后顺序，这个唯一编号就是事务ID(ZXID)，只有更新请求才算是事务请求。  
为保证按照事务的ZXID先后顺序来处理，Leader服务器会分别为每个Follower服务器创建一个队列，并将事务的先后顺序放入队列中，并按照FIFO的策略进行消息发送。收到需要处理的事务后，Follower服务器会首先以事务日志的形式写入服务器的磁盘中，写入成功后会向Leader服务器发送ACK响应。当Leader服务器收到超过一半的Follower服务器的ACK响应后，会向所有Follower服务器广播Commit消息，收到Commit消息的Follower服务器也会完成对事务的提交。  
如果接收到事务请求的是Follower服务器，它会将请求转发给Leader服务器处理。

**二、相同点：**

**在数据写入过程中，****leader****与****follower****都具有相同的先后关系，即数据先写入****leader****，而后按照一定的规则完成在****follower****上的最少副本数写入，即可返回调用客户端，该数据写入成功过。**  
**kafka****的最少副本数量有****min.insync.replicas****控制；****zookeeper****的最少副本数是半数以上节点。**  
**此处的设置都是优先保证可用性，而牺牲一定的数据一致性。**

**三、具体的****Kafka****的****leader****选举机制如下：**

Kafka的Leader是什么

首先Kafka会将接收到的消息分区（partition），每个主题（topic）的消息有不同的分区。这样一方面消息的存储就不会受到单一服务器存储空间大小的限制，另一方面消息的处理也可以在多个服务器上并行。  
  其次为了保证高可用，每个分区都会有一定数量的副本（replica）。这样如果有部分服务器不可用，副本所在的服务器就会接替上来，保证应用的持续性。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3c4OTI4MjQxOTY_size_16_color_FFFFFF_t_70 2][]  
  但是，为了保证较高的处理效率，消息的读写都是在固定的一个副本上完成。这个副本就是所谓的Leader，而其他副本则是Follower。而Follower则会定期地到Leader上同步数据。

**Leader****选举**

如果某个分区所在的服务器除了问题，不可用，kafka会从该分区的其他的副本中选择一个作为新的Leader。之后所有的读写就会转移到这个新的Leader上。现在的问题是应当选择哪个作为新的Leader。显然，只有那些跟Leader保持同步的Follower才应该被选作新的Leader。  
  Kafka会在Zookeeper上针对每个Topic维护一个称为ISR（**in-sync replica****，已同步的副本**）的集合，该集合中是一些分区的副本。只有当这些副本都跟Leader中的副本同步了之后，kafka才会认为消息已提交，并反馈给消息的生产者。如果这个集合有增减，kafka会更新zookeeper上的记录。  
  如果某个分区的Leader不可用，Kafka就会从ISR集合中选择一个副本作为新的Leader。  
  显然通过ISR，kafka需要的冗余度较低，可以容忍的失败数比较高。假设某个topic有f+1个副本，kafka可以容忍f个服务器不可用。

**为什么不用少数服从多数的方法**

少数服从多数是一种比较常见的一致性[算法][Link 1]和Leader选举法。它的含义是只有超过半数的副本同步了，系统才会认为数据已同步；选择Leader时也是从超过半数的同步的副本中选择。这种算法需要较高的冗余度。譬如只允许一台机器失败，需要有三个副本；而如果只容忍两台机器失败，则需要五个副本。而kafka的ISR集合方法，分别只需要两个和三个副本。

**如果所有的****ISR****副本都失败了怎么办**

此时有两种方法可选，一种是等待ISR集合中的副本复活，一种是选择任何一个立即可用的副本，而这个副本不一定是在ISR集合中。这两种方法各有利弊，实际生产中按需选择。  
  如果要等待ISR副本复活，虽然可以保证一致性，但可能需要很长时间。而如果选择立即可用的副本，则很可能该副本并不一致。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3c4OTI4MjQxOTY_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200703161442922.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3c4OTI4MjQxOTY=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3c4OTI4MjQxOTY_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200703161442924.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3c4OTI4MjQxOTY=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3c4OTI4MjQxOTY_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200703161442909.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3c4OTI4MjQxOTY=,size_16,color_FFFFFF,t_70
[Link 1]: http://www.dataguru.cn/article-5747-1.html?union_site=innerlink