【Kafka】三.Kafka怎么保证高可用学习总结

一时失言乱红尘 2023-10-08 18:02 57阅读 0赞

## Kafka 的副本机制 ##

Kafka 的高可用实现主要依赖副本机制。

### Broker 和 Partition 的关系 ###

在分析副本机制之前，先来看一下 Broker 和 Partition 之间的关系。Broker 在英文中是代理、经纪人的意思，对应到 Kafka 集群中，是一个 Kafka 服务器节点，Kafka 集群由多个 Broker 组成，也就是对应多个 Kafka 节点。  
![在这里插入图片描述][f48bafd769344f6ba913126a2334ab22.png]

Kafka 是典型的发布订阅模式，存在 Topic 的概念，一个 Broker 可以容纳多个 Topic，也就是一台服务器可以传输多个 Topic 数据。

不过 Topic 是一个逻辑概念，和物理上如何存储无关，Kafka 为了实现可扩展性，将一个 Topic 分散到多个 Partition 中，这里的 Partition 就是一个物理概念，对应的是具体某个 Broker 上的磁盘文件。

从 Partition 的角度，Kafka 保证消息在 Partition 内部有序，所以 Partition 是一段连续的存储，不能跨多个 Broker 存在，如果是在同一个 Broker 上，也不能挂载到多个磁盘。从 Broker 的角度，一个 Broker 可以有多个 Topic，对应多个 Partition。

除此之外，Partition 还可以细分为一个或者多个 Segment，也就是数据块，每个 Segment 都对应一个 index 索引文件，以及一个 log 数据文件。对 Partition 的进一步拆分，使得 Kafka 对 分区的管理更加灵活。

### Replication副本 之间如何同步数据 ###

基于 Kafka 的系统设计，你可以思考一下，如果没有副本，那么当某个 Kafka Broker 挂掉，或者某台服务器宕机（可能部署了多个 Broker），存储在其上的消息就不能被正常消费，导致系统可用性降低，或者出现数据丢失，这不符合分布式高可用的要求，出现单点故障，也不满足 Kafka 数据传输持久性和投递语义的设计目标。

Kafka 中有一个配置参数 ***replication-factor（副本因子）***，可以调整对应分区下副本的数量，注意副本因子数包含原来的 Partition，如果需要有 2 个副本，则要配置为 3。

假设现在有一个订单的 Topic，配置分区数为 3，如果配置 replication-factor 为 3，那么对应的有三个分区，每个分区都有 3 个副本。

### 在有多个副本的情况下，不同副本之间如何分工呢？ ###

每个分区下配置多个副本，多个副本之间为了协调，就必须有一定的同步机制。

Kafka 中同一个分区下的不同副本，有不同的角色关系，分为 Leader Replication 和 Follower Replication。

*  Leader 负责处理所有 Producer、Consumer 的请求，进行读写处理
 *  Follower 作为数据备份，不处理来自客户端的请求。

Follower 不接受读写请求，那么数据来自哪里呢？

**它会通过 Fetch Request 方式，拉取 Leader 副本的数据进行同步。**

Fetch ，在 Kafka 中，会为数据同步开辟一个单独的线程，称为 ReplicaFetcherThread，该线程会主动从 Leader 批量拉取数据，这样可以高性能的实现数据同步。

### Replication 分配有哪些约定 ###

Kafka 中分区副本数的配置，既要考虑提高系统可用性，又要尽量减少机器资源浪费。

一方面，为了更好地做负载均衡，Kafka 会将所有的 Partition 均匀地分配到整个集群上；