大数据-kafka学习（五）——消费者

我不是女神ヾ 2023-09-30 13:04 13阅读 0赞

**目录**

一、KAfka消费方式

1、pull（拉）模式：

2、push（推）模式：

二、消费者总体工作流程

三、消费者组

四、消费者组初始化流程

五、消费者组详细消费流程

--------------------

## 一、KAfka消费方式 ##

### 1、pull（拉）模式： ###

consumer 采用从broker中主动拉取数据，

**Kafka 采取这种方式**

### 2、push（推）模式： ###

Kafka 没有采用这种方式，是因为由broker决定消费发生速率，很难适应所有消费者的消费速率。例如推送的速度是50m/sConsumer1、Consumer2就来不及处理消息。

Pull模式不足之处是，如果kafka没有数据，消费者可能陷入循环中，一直返回空数据。

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16][]

## 二、消费者总体工作流程 ##

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

## 三、消费者组 ##

Consumer Group （CG），消费者组，由多个consumer组成，形成一个消费者组的条件，是所有消费者的groupid相同。

*  消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费
 *  消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

*  如果向消费者组中添加更多的消费者，超过主题分区数量，则有一部分消费者会闲置，不会接收任何消息。
 *  消费者组之间互不影响，所有的消费者都属于某个消费者组，即 消费者组是逻辑上的一个订阅者。

## ![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16 3][] 四、消费者组初始化流程 ##

**coordinator:辅助实现消费组的初始化和分区的分配**

coordinator节点选择=groupid的hashcode%50 (\_\_consumer\_offsets的分区数量)

例如：groupid的hashcode值=1,1%50=1,那么\_\_consumer\_offsets主题的1号分区，在哪个broker上，就选择这个节点的coordinator作为这个消费者组的老大。消费者组下的所有的消费者提交offset的时候就往这个分区去提交offset。

*  1）每个consumer都发送JoinGroup请求
 *  2）选出一个consumer作为leader
 *  3）把要消费的topic情况发送给leader消费者
 *  4）leader会负责制定消费方案
 *  5）把消费方案下发给各个consumer
 *  6）Coordinator就把消费方案下发给各个consumer
 *  7）每个消费者都会和coordinator保持心跳（默认3s），一旦超时（session.tomeout.ms=45s）,该消费者会被移除，并触发再平衡，或者消费者处理消息的时间过长（max.poll.interval.ms=5分钟）也会触发再平衡

## ![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16 4][] 五、消费者组详细消费流程 ##

FetchRecords从队列中抓取数据

*  Fetch.min.bytes每批次最小抓取大小，默认1字节
 *  Fetch.max.wait.ms一批数据最小值未达到的超时时间，默认500ms
 *  Fetch.max.bytes每批次最大抓取大小，默认50m
 *  Max.poll.records一次拉取数据返回消息的最大条数，默认500条

### ![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16 5][] ###

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/70bcce0c1a224b05bb7a0bf6b4985f0a.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5py65pm65YW1,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/c15ada6ab904454e9b95f90e4cd5a81a.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5py65pm65YW1,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/41a8ae9c63e54639a290bc5010d8e530.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5py65pm65YW1,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16 3]: https://img-blog.csdnimg.cn/19432945bf774d78ba0c7e5a49183490.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5py65pm65YW1,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16 4]: https://img-blog.csdnimg.cn/77148a354743454ca5eccf9ed09778fa.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5py65pm65YW1,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16 5]: https://img-blog.csdnimg.cn/5590a658679a4e77848e6f5c2269804f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5py65pm65YW1,size_20,color_FFFFFF,t_70,g_se,x_16