记一次Kafak重复消费的问题

朱雀 2023-06-24 04:42 133阅读 0赞

就在今天早上发现推送连续推了几条重复的消息，于是就仔细地查阅了下kafka相关配置，大概如下：

kafka:
        producer:
          key-serializer: org.apache.kafka.common.serialization.StringSerializer
          value-serializer: org.apache.kafka.common.serialization.StringSerializer
          batch-size: 1000
          buffer-memory: 524288
          retries: 0
          acks: -1
        consumer:
          #      group-id: consumer-tutorial-${server.port}
          group-id: consumer-tutorial
          key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
          value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
          auto-offset-reset: earliest
          enable-auto-commit: true

消费使用地是默认值，自动提交，间隔时间也没有设置（其实之前别人设置了，auto-commit-interval-ms，但这个属性在SpringBoot配置中并不存在，而是auto-commit-interval。也就是说之前设置的都是错误的，没有起作用）。我在本地做测试也没发现问题，没办法就分析了下日志，发现消费端从接收到业务处理完花了好几分钟（**说到这里，我原先以为kafka自动提交点是在消费端一接收到消息时就提交，但是并不是这样的**）。于是，我就试着在本地做延时操作，分别试了延迟2分钟、3分钟、5分钟。当我延时了5分钟的时候，就出现消费端重复消费的问题。**那么问题就很明显了，就是因为消费端不是在一收到消息就提交，而是在整个业务完成之后才提交的。**

> 另外，说一下，我使用的时Spring提供的@KafkaListener来监听。

发表评论取消回复

表情：

评论列表（有 0 条评论，133人围观）

还没有评论，来说两句吧...

相关阅读

相关记一次zookeeper异常问题

题：测试环境所有的服务都无法连接zookeeper Refusing session request for client /10.0.2.153:33126 ...

灰太狼/ 2024年04月18日 16:30/ 0 赞/ 75 阅读

相关记一次SpringBoot Filter的坑-过滤器被重复执行问题

背景在做[易支付][Link 1](个人免签支付平台)的时候，使用了过滤器来做了接口日志打印、跨域处理、登录验证等功能，最近查看日志文件的时候突然发现日志打印的信息都是

我会带着你远行/ 2024年03月26日 11:44/ 0 赞/ 59 阅读

相关记一次oom问题排查

大家好，我是大彬~ 今天给大家分享最近出现的OOM问题。上周五早上，测试同学反馈测试环境的子系统服务一直超时，请求没有响应。收到这个问题之后，我有点纳闷，最近这个系统

╰半夏微凉°/ 2023年10月01日 13:17/ 0 赞/ 9 阅读

相关记一次Kafak重复消费的问题

就在今天早上发现推送连续推了几条重复的消息，于是就仔细地查阅了下kafka相关配置，大概如下： kafka: producer:

朱雀/ 2023年06月24日 04:42/ 0 赞/ 134 阅读

相关记一次面试vue问题

你用的vue-cli版本用的vue2，脚手架用的3 vue生命周期总共分为8个阶段创建前/后，载入前/后，更新前/后，销毁前/后。 > 创建前/后：

太过爱你忘了你带给我的痛/ 2022年12月02日 04:27/ 0 赞/ 274 阅读

相关 kafka重复消费问题

一.前言最近项目中替换了我以前使用的string cloud stream kafka后，改为了spring kafka。当大批量数据进来的时候，就会频繁出

本是古典何须时尚/ 2022年11月27日 03:15/ 0 赞/ 260 阅读

相关 kafka重复消费问题

问题描述采用kafka读取消息进行处理时，consumer会重复读取afka队列中的数据。问题原因 kafka的consumer消费数据时首先会从broker

谁践踏了优雅/ 2022年05月31日 04:06/ 0 赞/ 319 阅读

相关 kafka重复消费问题

开篇提示：kafka重复消费的根本原因就是“数据消费了，但是offset没更新”！而我们要探究一般什么情况下会导致offset没更新？今天查看Elasticsearch索引

布满荆棘的人生/ 2022年05月03日 23:54/ 0 赞/ 296 阅读

相关记一次rsyslog的转发问题

rsyslog是可以配置tcp的转发模式的,使用两个@符号作为标记,一个的话就是udp模式在/etc/rsyslog.conf中发现配置了三条转发规则 1. \.\ @

雨点打透心脏的1/2处/ 2022年01月21日 08:55/ 0 赞/ 453 阅读

相关记一次npm的版本问题

基于vue-cli 2.0脚手架和webpack4的vue项目出现莫名奇葩的错误。 npm run build 报错，提示说import 无效，但是我webpack中也loa

缺乏、安全感/ 2022年01月20日 00:35/ 0 赞/ 320 阅读