kfka主从同步

﹏ヽ暗。殇╰゛Y 2022-02-16 09:45 223阅读 0赞

Kafka的副本功能不是必须的，你可以配置只有一个副本，这样其实就相当于只有一份数据  
比如有3个副本，那么有1个leader，2个flower

创建副本的单位是topic的分区，每个分区都有一个leader和零或多个followers.所有的读写操作都由leader处理，一般分区的数量都比broker的数量多的多，各分区的leader均匀的分布在brokers中。所有的followers都复制leader的日志，日志中的消息和顺序都和leader中的一致。flowers向普通的consumer那样从leader那里拉取消息并保存在自己的日志文件中。

Kafka判断一个节点是否活着有两个条件：  
节点必须可以维护和ZooKeeper的连接，Zookeeper通过心跳机制检查每个节点的连接。  
如果节点是个follower,他必须能及时的同步leader的写操作，延时不能太久。

Kafaka动态维护了一个同步状态的副本的集合（a set of in-sync replicas），简称ISR，在这个集合中的节点都是和leader保持高度一致的，任何一条消息必须被这个集合中的每个节点读取并追加到日志中了，才回通知外部这个消息已经被提交了。因此这个集合中的任何一个节点随时都可以被选为leader.ISR在ZooKeeper中维护。

只有当消息被所有的副本加入到日志中时，才算是“committed”，只有committed的消息才会发送给consumer，这样就不用担心一旦leader down掉了消息会丢失。Producer也可以选择是否等待消息被提交的通知，这个是由参数request.required.acks决定的。

一个副本可以不同步Leader有如下几个原因  
1.慢副本：在一定周期时间内follower不能追赶上leader。最常见的原因之一是I / O瓶颈导致follower追加复制消息速度慢于从leader拉取速度。  
2.卡住副本：在一定周期时间内follower停止从leader拉取请求。follower replica卡住了是由于GC暂停或follower失效或死亡。  
3.新启动副本：当用户给主题增加副本因子时，新的follower不在同步副本列表中，直到他们完全赶上了leader日志。

副本滞后判断依据是副本落后于leader最大消息数量(replica.lag.max.messages)或replicas响应partition leader的最长等待时间([replica.lag.time.max.ms][])。前者是用来检测缓慢的副本,而后者是用来检测失效或死亡的副本  
Kafka会认为太缓慢并且会从同步副本列表中移除

[replica.lag.time.max.ms]: http://replica.lag.time.max.ms