26 生产案例：从RocketMQ全链路分析用户支付后没收到红包的原因

比眉伴天荒 2022-10-10 11:21 17阅读 0赞

场景：由用户反馈，按照规则在支付之后应该可以拿到一个现金红包的，但是他在支付了一个订单之后，却并没有收到这个现金红包，于是反馈给客服。

问题排查，查找系统中打印的日志。

发现，按理来说，订单系统在完成支付之后，会推送一条消息到RocketMQ里去，然后红包系统会从RocketMQ里接收那条消息去给用户发现金红包。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwNTY3MA_size_16_color_FFFFFF_t_70][]

但是从订单系统和红包系统当天那个时间段的日志来看，只看到了订单系统有推送消息到RocketMQ的日志，但是并没有看到红包系统从RocketMQ中接收消息以及发现金红包的日志。

由此可见，问题可能就出在这儿了，是不是支付订单消息在传输的过程中丢失了？导致现金红包没有派发出去。

### 2.订单系统推送消息到MQ的过程会丢失消息吗？ ###

答案是有可能会丢失。

原因有多种：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwNTY3MA_size_16_color_FFFFFF_t_70 1][]

常见的例子，比如订单系统在推送消息到RocketMQ的过程中，是通过网络去进行传输的，但是这个时候恰巧可能网络发生了抖动，也就是网络突然有问题，导致这次网络通信失败了。于是这个消息就没有成功投递给MQ。

例子二：比如MQ确实收到消息了，但是它的网络通信模块的代码出现了异常，可能是他内部的网络通信的bug，导致信息没成功处理。

例子三：或者在写消息到RocketMQ的过程中，刚好遇到了某个Leader Broker自身故障，其他的Follower Broker正在尝试切换为Leader Broker，这个过程也可能会有异常。

### 3.消息到达MQ了，MQ自己会导致消息丢失吗？ ###

即使我们的订单系统成功的把消息写入了MQ，也不能想当然的认为你写成功了，消息还是有丢失的可能。

**os cache内丢失**

根据对RocketMQ 底层原理的分析，可以得知，当你的消息写入MQ之后，其实MQ可能仅仅是把这个消息给写入到page cache里，也就是操作系统自己管理的一个缓冲区，这本质就是写入到内存。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwNTY3MA_size_16_color_FFFFFF_t_70 2][]

在不了原理的情况下，可能以为真的写成功了一个消息，但是此时仅仅进入了 os cache，还没写入磁盘。

这个时候，一旦出现了Broker机器的崩溃，机器宕机的情况发生，那么os cache内存中的数据就没了。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwNTY3MA_size_16_color_FFFFFF_t_70 3][]

在上述的情况下，碰上机器宕机，内存里的数据必然就会丢失了，机器即使重启了，然后重启broker进程，此时这个数据也没了。

### 4.消息进入磁盘了，还会丢失吗 ###

会的，即使Broker把消息写入os cache之后，及时的刷入到磁盘文件里，但是也不能保证数据一定不丢失。

**磁盘损坏问题**

如果你的磁盘出现故障，比如磁盘坏了，那么上面存储的数据还是会丢失。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwNTY3MA_size_16_color_FFFFFF_t_70 4][]

### 5.红包系统拿到了消息，就一定不会丢失了吗？ ###

这是消费者端的问题，消费者也存在丢失消息的问题。

这里就涉及到了底层存储结构以及offset概念了。offset代表了一个消息的标识，代表了他的位置。

**场景解读**

如图，有两个消息，offset分别为1和2。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwNTY3MA_size_16_color_FFFFFF_t_70 5][]

假设红包系统已经获取到了消息1了，然后消息1此时就在它的内存里，正准备运行代码去派发现金红包，但是，此时还没派发现金红包。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwNTY3MA_size_16_color_FFFFFF_t_70 6][]

默认情况下，MQ的消费者有可能会自动提交已经消费的offset，那么如果此时你还没处理这个消息派发红包的情况下，MQ的消费者可能直接自动给你提交这个消息1的offset到broker去了，标示为你已经成功处理了这个消息，如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwNTY3MA_size_16_color_FFFFFF_t_70 7][]

恰巧在这个时候，我们的红包系统突然故障了，红包系统的机器重启了一下，然后此时内存里的消息1必然就丢失了，而且红包也没发出去。

### 6.总结 ###

以上是生产者、MQ、消费者可能丢失消息的原因分析过程。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwNTY3MA_size_16_color_FFFFFF_t_70]: /images/20221005/167871b39fb141d1aa436a243258fa2d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwNTY3MA_size_16_color_FFFFFF_t_70 1]: /images/20221005/e5e65644b7eb434aa37224fdbbc30327.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwNTY3MA_size_16_color_FFFFFF_t_70 2]: /images/20221005/1cc0e25919bc4993b7066eb617ef4c62.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwNTY3MA_size_16_color_FFFFFF_t_70 3]: /images/20221005/ea6caca0a8a74558afece920834d3d52.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwNTY3MA_size_16_color_FFFFFF_t_70 4]: /images/20221005/868883c32d6c42088527841aa8ca8511.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwNTY3MA_size_16_color_FFFFFF_t_70 5]: /images/20221005/3fd39dc2147247049887e8d57eca8832.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwNTY3MA_size_16_color_FFFFFF_t_70 6]: /images/20221005/2b90b4e2fa8c4bd38d80adaa4f638c5c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQwNTY3MA_size_16_color_FFFFFF_t_70 7]: /images/20221005/76ba6e303cac469b8f7d79b3dea93a2c.png