RabbitMQ如何保证消息不被重复消费？使用Redis做幂等是完全安全的吗？

系统管理员 2023-10-14 11:54 4阅读 0赞

**一、RabbitMQ如何保证消息不被重复消费？**

保证消息不被重复消费，其实就是保证消息的幂等性。

**任何消息队列都不保证消息不被重复消费，只保证消息至少被成功消费一次。**  因为消息投递的可靠性要比我们重复消费的优先级高，所以如果业务需要消息不重复消费的话，则需要自行实现业务需求来保证消息的幂等性。

不同的业务需求不一样，以下提供了几个解决方案作为参考：

**（1）针对消息进行去重：**

我们可以在生产端为每个消息设置唯一的ID，并在消费端维护已经处理过的消息ID列表，当消费者接收一条新的消息的时候，首先检查该消息的ID是否在已处理的消息列表中，如果存在则表明消息已经被处理过，可以直接忽略掉。

**（2）利用消息幂等性：**

在消费者处理消息的过程中，我们保证每个操作都是幂等的。例如，在数据库中插入一条记录时，可以使用消息的key作为唯一索引，可以使用主键或唯一索引来防止重复插入。

![up-5df3d6c188e74e26772c1cd5807747d746c.png][]

**（3）使用消息延迟的方式：**

将需要消费的消息发送到一个延迟队列中，在指定的时间后再将消息转发到目标队列，这样可以确保每条消息在一段时间内只会被消费一次，从而避免重复消费的问题。

**（4）使用Redis的命令：**

Redis中的set命令天然支持幂等，消息消费时，只需要用set命令来判断消息是否被消费过即可。也可以用redis的 Incr 命令来保证。

//Redis中操作，判断是否已经操作过 TODO
      boolean flag =  jedis.setNX(key);
      if(flag){
        //消费
      }else{
        //忽略，重复消费
      }

redis的 Incr 原子操作：key自增，大于0 返回值大于0则说明消费过，(key可以是消息的md5取值, 或者如果消息id设计合理直接用id做key)
      int num =  jedis.incr(key);
      if(num == 1){
          //消费
      }else{
          //忽略，重复消费
      }

综上所述，RabbitMQ只保证消息至少会被消费一次，不保证消息不会被重复消费。而如何防止消息不被重复消费，需要我们根据具体的业务来自己处理，比如针对消息进行去重、消息幂等性、延迟队列、Redis命令等等。

**二、使用Redis做幂等是完全安全的吗？**

使用Redis做幂等操作是一种常见的做法，但并不能完全保证其安全性，我认为有以下几个可能会造成不安全的原因：

**1.Redis集群下的幂等性：**  在Redis集群中，由于数据会被分片存储在不同的结点上，可能存在对同一个key进行读写操作时，该key所在的不同结点的状态不一致的情况。这种情况可能会导致重复请求得到不同的响应结果。

**2.操作的原子性：**  即使在单机模式下，如果操作不是原子性的，也可能出现同一个key获取到不同的结果，从而导致重复处理。

因此，在进行幂等操作时，需要使用redis提供的原子性指令（如SETNX、SETEX、GETSET）来确保操作的原子性。

**3.幂等操作的超时时间：**  设定的超时时间过短会导致重新请求时，由于之前的幂等标识已经失效，而产生重复操作；相反，设置的超时时间过长，则可能会导致幂等标识长期占用内存空间而浪费资源。

因此，需要根据业务的需求和场景，合理地设置有效期。

综上，在使用Redis实现幂等操作时，需要考虑分布式情况、操作原子性、超时时间等方面的问题，结合具体的业务需求和场景，进行合理的设计和实现。

[up-5df3d6c188e74e26772c1cd5807747d746c.png]: https://oscimg.oschina.net/oscnet/up-5df3d6c188e74e26772c1cd5807747d746c.png