Kafka：消费者消费消息流程

╰+哭是因爲堅強的太久メ 2024-03-24 17:06 103阅读 0赞

###  **消费者组初始化过程** ###

![4aee20e5335044cbaff1dd63e17c4b6e.png][]

**步骤：**

1.每一个Broker都有coordinator（辅助实现消费者组的初始化和分区的分配），根据groupid进行哈希取模得到选举那个coordinator对消费者组进行管理；

2.消费者组内每个consumer都向选举的coordinator发送JoinGroup请求；

3.coordinator选出一个 consumer作为leader；

4.coordinator把要消费的topic情况发送给leader 消费者；

5.leader消费者会负责制定消费方案；

6.leader消费者把消费方案发给coordinator；

7.Coordinator就把消费方案下发给其他consumer；

8.每个消费者都会和coordinator保持心跳**（默认3s）**，一旦超时 **（session.timeout.ms=45s）**，该消费者会被移除，并触发再平衡； 或者消费者处理消息的时间过长**（max.poll.interval.ms5分钟）**，也 会触发再平衡。

### 消费消息过程 ###

![1afa66d1da064ac4b056a1d875d307b5.png][]

**步骤：**

1.ConsumerNetworkClient建立了与Kafka集群的通信通道；

2.Consumer调用sendFetches方法要ConsumerNetworkClient调用send方法拉取消息；

**中间ConsumerNetworkClient拉取消息的一些参数：**

*  Fetch.min.bytes每批次最 小抓取大小，**默认1字节**
 *  fetch.max.wait.ms一批数据最小值 未达到的超时时间，**默认500ms**
 *  Fetch.max.bytes每批次最 大抓取大小，**默认50m**

3.通过回调保存到队列当中；

4.Consumer从队列中拉取消息；

**中间Consumer从队列中拉取消息的一些参数：**

*  Max.poll.records一次 拉取数据返回消息的 最大条数，**默认500条**

5.对消息进行反序列化；

6.如果有拦截器，就进行处理；

7.就是对消息进行处理的业务逻辑。

[4aee20e5335044cbaff1dd63e17c4b6e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/43dfee77571642f4bfbfd2f0f36bac99.png
[1afa66d1da064ac4b056a1d875d307b5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/2ad875bca2bf43a5acc4da9a956246b0.png

发表评论取消回复

表情：

评论列表（有 0 条评论，103人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kafka：消费者消费消息流程

消费者组初始化过程 ![4aee20e5335044cbaff1dd63e17c4b6e.png][] 步骤： 1.每一个Broker都有coordinator（

╰+哭是因爲堅強的太久メ/ 2024年03月24日 17:06/ 0 赞/ 104 阅读

相关【Kafka】二.Kafka消息发布/消费流程

Kafka 通过对消费方进行分组管理来支持消息一写多读。我画的图：工具（processon在线画图） ![在这里插入图片描述][44b925bd0d1f4db381b

怼烎@/ 2023年10月08日 17:53/ 0 赞/ 27 阅读

相关 Kafka 深入分析，发送、消费消息全流程

Kafka的消息传递：首先我们要先定义好topic，然后producer生产message，push到broker，随后consumer 从订阅的toipc中pull到消息消费

秒速五厘米/ 2023年06月29日 02:26/ 0 赞/ 105 阅读

相关 kafka消费者分区消费策略

前言在上一篇，我们谈到了从生产者一端，kafka是基于何种策略，将消息推送到集群下topic的不同分区中，可以使用kafka自带的分区策略，也可以根据自身的业务定制消息

拼搏现实的明天。/ 2022年12月31日 01:30/ 0 赞/ 294 阅读

相关 Kafka设定时段消费消息

Consumer类 @Component @Slf4j public class KafkaConsumer { @Auto

逃离我推掉我的手/ 2022年11月29日 05:45/ 0 赞/ 498 阅读

相关【Kafka】——顺序消费、重复消费、消息丢失

前言 Kafka可以说是为分布式而生的一个消息中间件，功能很强大，提到这个，我们可能就会想到消息中间件常提到的几个问题，消费的顺序性、重复消费、消息丢失等问题，接下来我们

逃离我推掉我的手/ 2022年10月05日 11:00/ 1 赞/ 478 阅读

相关 kafka如何消费消息

转载自：http://generalcode.cn/archives/255 消费者与消费组假设这么个场景：我们从Kafka中读取消息，并且进行检查，最后产生结果

分手后的思念是犯贱/ 2022年05月24日 10:14/ 0 赞/ 332 阅读

相关 kafka_Kafka的消息消费机制

测试：启动生产者与消费者。使用zooinspector工具查看当前zook情况：找到当前的消费者：（我也是一个一个找的） ![70][] 可以看到当前的off

小灰灰/ 2022年05月24日 03:29/ 0 赞/ 312 阅读

相关 spark消费kafka消息

教程： [http://spark.apache.org/docs/2.2.0/streaming-kafka-0-10-integration.html][http_spa

待我称王封你为后i/ 2022年05月14日 05:45/ 0 赞/ 347 阅读

相关 Flink消费kafka消息实战

![640?wx\_fmt=png][640_wx_fmt_png] 本次实战的内容是开发Flink应用，消费来自kafka的消息，进行实时计算；环境情况本

柔光的暖阳◎/ 2022年04月24日 05:18/ 0 赞/ 434 阅读