Kafka如何保证消息不丢失

Bertha 。 2024-02-17 10:31 17阅读 0赞

#### Kafka如何保证消息不丢失 ####

*  Kafka的架构
 *   *  1. Producer端
     *   *  1.1 原因分析
         *  1.2 解决方案
     *  2. Broker端
     *   *  2.1 原因分析
         *  2.2 解决方案
     *  3. Consumer端
     *   *  3.1 问题与解决

## Kafka的架构 ##

![在这里插入图片描述][854f1b93934b430ba821f491480ba87a.png]

Kafka是一个用来实现异步消息通讯的一个中间件，它的整个架构是由Producer、Consumer和Broker来组成。

所以对于Kafka如何去保证消息不丢失这个问题，可以从三个方面来回答。

### 1. Producer端 ###

首先是Producer端，需要去确保消息能够到达Broker，并且能够实现消息的存储。

#### 1.1 原因分析 ####

在这个层面上有可能会**出现网络问题导致消息发送失败**。

#### 1.2 解决方案 ####

Producer默认是异步发送消息的，所以可以通过以下方式来避免消息丢失：

1.  把异步发送**改成同步发送**，这样producer就能实时知道消息发送的结果。
2.  **添加异步回调函数来监听**消息发送的结果，如果发送失败，可以在回调中重试。
3.  Producer**本身提供了一个重试参数retries**，如果因为网络问题或者Broker故障导致发送失败，那么Producer会自动重试。

### 2. Broker端 ###

![在这里插入图片描述][d49db6e7bb1f4694a6ae193bf273bd38.png]  
Broker端需要确保Producer发送过来的消息是不会丢失的。

也就是说只需要去**把这个消息持久化到磁盘**就可以了。

#### 2.1 原因分析 ####

但是Kafka为了提升性能，采用了**异步批量刷盘**的实现机制，也就是说按照一定的消息量和时间间隔去刷盘。而最终刷新到磁盘这个动作是由操作系统来调度的，所以如果在刷盘之前**系统崩溃**了，就会导致**数据丢失**。  
![在这里插入图片描述][5ccb4135f08f4613816eb47535f879ff.png]  
Kafa**并没有提供同步刷盘的一个实现机制**，所以针对这个问题需要通过**Partition的副本机制和acks机制来解决**。

#### 2.2 解决方案 ####

Partition副本机制，它是针对每个数据分区的高可用策略，每个Partition副本集会包含唯一的一个Leader和多个Follower。

**Leader专门去处理事务类型的请求，而Follower负责同步leader的数据**，那么在这样一个机制的基础上，Kafka提供了一个acks的参数，Producer  
可以去**设置acks参数**去结合Broker的副本机制来共同保障数据的可靠性。

**acks这个参数的值有几个选择**：

1.  acks=0,表示producer不需要等待Broker的响应，就认为消息就发送成功了。那么这种情况下会存在消息丢失。
2.  acks=1,表示Broker中的Leader Partition收到消息之后不等待其他的Follower Partition的同步，就给Producer返回一个确认。这种情况下，假设Leader Partition挂了，就会存在数据丢失。
3.  acks=-1,表示Broker中的Leader Partition收到消息之后，并且等待ISR列表中的follower同步完成，再去给Producer返回一个确认。那么这样一个配置是可以保证数据的一个可靠性的。

### 3. Consumer端 ###

#### 3.1 问题与解决 ####

最后就是Consumer必须要能够消费这个消息，实际上只要producer和broker的消息可靠性得到保障。那么消费端是不太可能出现消息无法消费的问题的，除非是Consumer没有消费完这个消息，就已经提交了这样一个offset。但是即便是出现了这样一个情况，我们也可以通过**重新调整offset的值**来实现重新消费。

**参考资料**：[Kafka如何保证消息不丢失][Kafka]

[854f1b93934b430ba821f491480ba87a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/14fa6727d1a0445995d5f9d3d65a74dd.png
[d49db6e7bb1f4694a6ae193bf273bd38.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/9a73e89e4bae45b993a5e581d09d437d.png
[5ccb4135f08f4613816eb47535f879ff.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/3488a4524b584ecf80cb47de3472e1d5.png
[Kafka]: https://www.bilibili.com/video/BV1iV4y1m7wy?p=4&vd_source=a1af903e57688df870625021f7f3a7eb