面试被问如何保证 RocketMQ 不丢失消息

曾经终败给现在 2023-10-03 10:29 19阅读 0赞

### 前言 ###

> 分析那几步会丢失，然后给出大致解决思路。

### 生产阶段 ###

生产者（Producer） 通过网络发送消息给 Broker，当 Broker 收到之后，将会返回确认响应信息给 Producer。所以生产者只要接收到返回的确认响应，就代表消息在生产阶段未丢失。

若网络问题导致发送失败。针对这种情况，我们可以设置合理的重试次数，当出现网络问题，可以自动重试。设置方式如下：

// 同步发送消息重试次数，默认为 2
    mqProducer.setRetryTimesWhenSendFailed(3);
    // 异步发送消息重试次数，默认为 2
    mqProducer.setRetryTimesWhenSendAsyncFailed(3);

### Broker 存储阶段 ###

默认情况下，消息只要到了 Broker 端，将会优先保存到内存中，然后立刻返回确认响应给生产者。随后 Broker 定期批量的将一组消息从内存异步刷入磁盘。

这种方式减少 I/O 次数，可以取得更好的性能，但是如果发生机器掉电，异常宕机等情况，消息还未及时刷入磁盘，就会出现丢失消息的情况。

若想保证 Broker 端不丢消息，保证消息的可靠性，我们需要将消息保存机制修改为同步刷盘方式，即消息存储磁盘成功，才会返回响应。

修改 Broker 端配置如下：

## 默认情况为 ASYNC_FLUSH 
    flushDiskType = SYNC_FLUSH

#### 集群部署 ####

为了保证可用性，Broker 通常采用一主（master）多从（slave）部署方式。为了保证消息不丢失，消息还需要复制到 slave 节点。

默认方式下，消息写入 master 成功，就可以返回确认响应给生产者，接着消息将会异步复制到 slave 节点。

此时若 master 突然宕机且不可恢复，那么还未复制到 slave 的消息将会丢失。

> 为了进一步提高消息的可靠性，我们可以采用同步的复制方式，master 节点将会同步等待 slave 节点复制完成，才会返回确认响应。

如下配置：

## master 节点配置
    flushDiskType = SYNC_FLUSH
    brokerRole=SYNC_MASTER
    
    ## slave 节点配置
    brokerRole=slave
    flushDiskType = SYNC_FLUSH

### 消费阶段 ###

> 如果 Broker 未收到消费确认响应或收到其他状态，消费者下次还会再次拉取到该条消息，进行重试。这样的方式有效避免了消费者消费过程发生异常，或者消息在网络传输中丢失的情况。

发表评论取消回复

表情：

评论列表（有 0 条评论，19人围观）

还没有评论，来说两句吧...

相关阅读

相关面试题：RocketMQ 如何保证消息不丢失，如何保证消息不被重复消费？

-------------------- 文章目录 1、消息整体处理过程 Producer发送消息阶段手段一：提供SYNC的发送

港控/mmm°/ 2024年03月02日 09:13/ 0 赞/ 110 阅读

相关消息投递：如何保证消息不丢失？

目录前言一、消息为什么会丢失？二、在消息生产的过程中丢失消息三、在消息队列中丢失消息四、在消费的过程中存在消息丢失的可能 ------------

布满荆棘的人生/ 2024年02月19日 07:57/ 0 赞/ 86 阅读

相关【MQ】Rocketmq如何保证消息不丢失

文章目录前言一、前言二、消息什么情况会丢失？三、如何保障消息不丢失？ 3.1、生产者端 3.2、Broker端

比眉伴天荒/ 2024年02月05日 14:19/ 0 赞/ 107 阅读

相关面试被问如何保证 RocketMQ 不丢失消息

前言 > 分析那几步会丢失，然后给出大致解决思路。生产阶段生产者（Producer）通过网络发送消息给 Broker，当 Broker 收到之后，将会返回确

曾经终败给现在/ 2023年10月03日 10:29/ 0 赞/ 20 阅读

相关面试官：RocketMQ 如何保证消息不丢失，如何保证消息不被重复消费？

1、消息整体处理过程 ![5befe477f897064066e42dc740a93ab8.png][] 这里我们将消息的整体处理阶段分为3个阶段进行分析： P

Love The Way You Lie/ 2023年09月28日 19:02/ 0 赞/ 76 阅读

相关 kafka如何保证消息不丢失不被重复消费

文章目录 [kafka如何保证消息不丢失不被重复消费][kafka] [消息的发送机制][Link 1] [消息的接

你的名字/ 2022年12月27日 14:01/ 0 赞/ 233 阅读

相关 RabbitMQ如何保证消息不丢失

业务分析 RabbitMQ消息通常情况很少丢失，但若存在网络波动、服务宕机、程序异常等情况，也会导致消息丢失的情况发生，为了保证我们的系统高可用，必须作出更

布满荆棘的人生/ 2022年10月29日 04:30/ 0 赞/ 337 阅读

相关回答面试官：如何保证消息不丢失

> rocketmq是阿里开源的一个性能很强大的消息队列，很多公司都在用，而且经历了多次双十一的洗礼，支持多种特性对于这个技术点不知道大家掌握的如何了，消息队列现在应该是公

比眉伴天荒/ 2022年08月28日 02:58/ 0 赞/ 353 阅读

相关 RabbitMQ 如何保证消息不丢失？

文章出自：[https://www.cnblogs.com/flyrock/p/8859203.html][https_www.cnblogs.com_flyrock_p_8

野性酷女/ 2022年02月04日 17:34/ 0 赞/ 433 阅读

相关消息队列面试连环问：如何保证消息不丢失？处理重复消息？消息有序性？消息堆积处理？...

最近我一直扎在消息队列实现细节之中无法自拔，已经写了 3 篇`Kafka源码分析`，还剩很多没肝完。之前还存着`RocketMQ源码分析`还没整理。今儿暂时先跳出来盘一盘大方向

「爱情、让人受尽委屈。」/ 2021年09月01日 05:33/ 0 赞/ 470 阅读