kafka节点之间如何复制备份的？

谁践踏了优雅 2023-10-12 08:02 8阅读 0赞

生产者向kafka写入消息时，一般会写入多个分区（partition）。kafka提供冗余机制，即每个分区都有多个相同的备份，这些备份就是kafka中的副本(replica)。kafka把分区所有副本均匀分配到其他broker上，并从这些副本中挑选一个作为leader副本对外提供服务，而其他副本称为follwer副本，只能被动地向leader副本请求数据，从而保持与leader副本的同步。

leader副本所在的broker有可能宕机，这时follower副本会竞争成为leader，但是并不是所有的follower都有资格竞选leader。因为follower被动向leader请求数据，所以follower数据有可能落后于leader，这些落后太多的follower就没有资格竞选leader。毕竟数据落后太多的follower成为leader会造成数据丢失。鉴于此，kafka引入ISR机制。

所谓ISR，就是kafka集群动态维护一组同步副本集合(in-sync-replicas)。每个topic分区都有自己的ISR列表，ISR中所有副本都与leader保持同步状态。值得注意的是，leader副本总是包含在ISR列表，只有ISR中的副本才有资格被选举为leader。而producer写入一条消息只有被ISR中的所有副本都接收到，才被视为已提交状态。由此可见，若ISR中有N个副本，那么该分区最多可以容忍N-1个副本崩溃而不丢失已提交信息。正常情况下，partition所有的replica（包含leader replica）都应该与leader replica保持同步，即所有replica都在ISR中。因为各种原因，一部分replica开始落后于leader replica的进度。当滞后到一定程度，kafka会将这些replica踢出ISR。相反的，当这些replica重新追上leader进度时，那么kafka会将他们加回到ISR中。写一切都是自动维护的，不需要用户进行人工干预，因而保证了消息交付语义的同时简化了用户的操作成本。

###### ifollower副本同步 ######

follewer副本只做一件事情：向leader副本请求数据。  
术语：  
  起始位移（base sffset）：表示副本当前第一条消息的offset。  
  高水印值（high watermark，HW）：副本高水印值。是指ISR中所有节点都已经复制完的消息的offset。也是消费者所能获取到的消息的最大offset。超过HW值的所有消息被视为“未提交成功的”，因而consumer是看不到的。  
  日志末端位移（log end offset，LEO）：副本 日志中下一条待写入消息的offset。  
   当生产者发布消息到topic的某个分区时，消息首先被传递到leader副本，然后follower副本向leader副本请求消息，leader副本所在的broker推送消息给follower副本，一旦有足够的副本收到消息，leader就会提交这个消息（ISR中副本同步完成，ack=-1情况下），消费者就能消费到这个消息了。

如果副本发生故障，leader会把他从isr中剔除，那如果follower重启后呢？follower重启后会去leader上恢复最新的HW并将日志截断到HW，并继续从leader中获取HW以后的消息，一旦完全赶上leader，副本将被重新加入到ISR队列中，系统将重新回到fully replicated模式。

那如果leader发生故障呢，其他follower会争相竞争做leader，最终只有一个follower竞争成功升级成为leader，故障leader重启后成为follower去新leader同步消息。