消息队列消息丢失和消息重复发送的处理策略

墨蓝 2023-09-28 13:53 6阅读 0赞

#### 分布式事务 ####

## 什么是分布式事务 ##

我们的服务器从单机发展到拥有多台机器的分布式系统，各个系统之前需要借助于网络进行通信，原有单机中相对可靠的方法调用以及进程间通信方式已经没有办法使用，同时网络环境也是不稳定的，造成了我们多个机器之间的数据同步问题，这就是典型的分布式事务问题。

在分布式事务中事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。分布式事务就是要保证不同节点之间的数据一致性。

常见的分布式事务解决方案

1、2PC(二阶段提交)方案 - 强一致性

2、3PC(三阶段提交)方案

3、TCC （Try-Confirm-Cancel）事务 - 最终一致性

4、Saga事务 - 最终一致性

5、本地消息表 - 最终一致性

6、MQ事务 - 最终一致性

这里重点关注下使用消息队列实现分布式的一致性，上面几种的分布式设计方案的具体细节可参见文章最后的引用链接

## 基于 MQ 实现的分布式事务 ##

本地消息表-最终一致性

消息的生产方，除了维护自己的业务逻辑之外，同时需要维护一个消息表。这个消息表里面记录的就是需要同步到别的服务的信息，当然这个消息表，每个消息都有一个状态值，来标识这个消息有没有被成功处理。

发送放的业务逻辑以及消息表中数据的插入将在一个事务中完成，这样避免了`业务处理成功 + 事务消息发送失败`，或`业务处理失败 + 事务消息发送成功`，这个问题。

![872a0528a28f4d39bda83f4e60d6e2a8.png][]

举个栗子：

我们假定目前有两个服务，订单服务，购物车服务，用户在购物车中对几个商品进行合并下单，之后需要清空购物车中刚刚已经下单的商品信息。

**1、消息的生产方也就是订单服务，完成了自己的逻辑(对商品进行下单操作)然后把这个消息通过 mq 发送到需要进行数据同步的其他服务中，也就是我们栗子中的购物车服务。**

**2、其他服务(购物车服务)会监听这个队列；**

1、如果收到这个消息，并且数据同步执行成功了，当然这也是一个本地事务，就通过 mq 回复消息的生产方(订单服务)消息已经处理了，然后生产方就能标识本次事务已经结束。如果是一个业务上的错误,就回复消息的生产方，需要进行数据回滚了。

2、很久没收到这个消息，这种情况是不会发生的，消息的发送方会有一个定时的任务，会定时重试发送消息表中还没有处理的消息；

**3、消息的生产方(订单服务)如果收到消息回执；**

1、成功的话就修改本次消息已经处理完，也就是本次分布式事务的同步已经完成；

2、如果消息的结果是执行失败，同时在本地回滚本次事务，标识消息已经处理完成；

3、如果消息丢失，也就是回执消息没有收到，这种情况也不太会发生，消息的发送方(订单服务)会有一个定时的任务，定时重试发送消息表中还没有处理的消息，下游的服务需要做幂等，可能会收到多次重复的消息，如果一个回复消息生产方中的某个回执信息丢失了，后面持续收到生产方的 mq 消息，然后再次回复消息的生产方回执信息，这样总能保证发送者能成功收到回执，消息的生产方在接收回执消息的时候也要做到幂等性。

这里有两个很重要的操作：

1、服务器处理消息需要是幂等的，消息的生产方和接收方都需要做到幂等性；

2、发送放需要添加一个定时器来遍历重推未处理的消息，避免消息丢失，造成的事务执行断裂。

该方案的优缺点

优点：

1、在设计层面上实现了消息数据的可靠性，不依赖消息中间件，弱化了对 mq 特

[872a0528a28f4d39bda83f4e60d6e2a8.png]: https://img-blog.csdnimg.cn/872a0528a28f4d39bda83f4e60d6e2a8.png

发表评论取消回复

表情：

评论列表（有 0 条评论，6人围观）

还没有评论，来说两句吧...

相关阅读

相关消息队列如何处理重复消息

在消息传递过程中，如果出现传递失败的情况，发送方会执行重试，重试的过程中就有可能会产生重复的消息。对使用消息队列的业务系统来说，如果没有对重复消息进行处理，就有可能会导致系统的

逃离我推掉我的手/ 2024年03月17日 13:21/ 0 赞/ 86 阅读

相关消息队列消息丢失和消息重复发送的处理策略

分布式事务什么是分布式事务我们的服务器从单机发展到拥有多台机器的分布式系统，各个系统之前需要借助于网络进行通信，原有单机中相对可靠的方法调用以及进程间通信方式已

墨蓝/ 2023年09月28日 13:53/ 0 赞/ 7 阅读

相关 Kafka 消息丢失和消息重复消费

1. 消息丢失 1. producer 的`acks`参数值设置为‘0’或者‘1’，不等待服务器确认或者只让leader确认 > 解决方法：将`ack

系统管理员/ 2022年12月05日 12:11/ 0 赞/ 303 阅读

相关 php消息发布,PHP发送队列消息接收队列消息

$MSGKEY = 519052; $msg\_id = msg\_get\_queue ($MSGKEY, 0600); if (!msg\_send ($msg\_id

秒速五厘米/ 2022年11月18日 04:39/ 0 赞/ 272 阅读

相关消息队列的消息丢失、重复、积压

消息队列 MQ 好处系统解耦流量控制,削峰填谷引入的问题系统解耦,分布式,带来了数据一致性问题,数据丢失与重

桃扇骨/ 2022年11月06日 12:56/ 0 赞/ 251 阅读

相关 RocketMQ消息顺序和消息重复的处理

分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件，需要具有高吞吐量、高可用等特点。而谈到消息系统的设计，就回避不了两个问题： 1. 消息的顺序问题 2. 消息的

客官°小女子只卖身不卖艺/ 2022年10月24日 05:48/ 0 赞/ 305 阅读

相关 unix学习笔记------消息队列---发送消息

发送消息 \include<stdio.h> \include<stdlib.h> \include<string.h> \

Love The Way You Lie/ 2022年08月09日 12:46/ 0 赞/ 240 阅读

相关消息和消息队列

每个事件的操作系统被打包成一个称为消息结构MSG要传递给应用 typedef struct tagMSG { HWND hwnd;

超、凢脫俗/ 2022年03月28日 08:42/ 0 赞/ 390 阅读

相关消息队列】RabbitMQ如何处理消息丢失

首先明确一点一条消息的传送流程：生产者->MQ->消费者所以有三个地方都会丢失数据：生产者发送给MQ的途中出现网络问题 MQ自己没保管好弄丢了消费者拿到数据

红太狼/ 2021年12月09日 05:39/ 0 赞/ 478 阅读

相关消息队列面试连环问：如何保证消息不丢失？处理重复消息？消息有序性？消息堆积处理？...

最近我一直扎在消息队列实现细节之中无法自拔，已经写了 3 篇`Kafka源码分析`，还剩很多没肝完。之前还存着`RocketMQ源码分析`还没整理。今儿暂时先跳出来盘一盘大方向

「爱情、让人受尽委屈。」/ 2021年09月01日 05:33/ 0 赞/ 455 阅读