kafka系列-进阶篇之消费组

墨蓝 2022-05-10 07:42 570阅读 0赞

# 前言 #

消费组是kafka一个非常有意思的设计。在高并发方面，可以使用多个台服务器放在同一个消费组中，就可以保证所有的消费者拉取的消费不会重复并且完整，这样就可以提高消费者的执行效率。

# 前期准备 #

## 创建topic ##

kafka-topics.sh --zookeeper localhost:2181 --create --topic topic_demo --partitions 3 --replication-factor

![在这里插入图片描述][70]  
**请注意这里的partition数量为3，在后面的实验会产生影响**

## 启动生产者和消费者 ##

kafka-console-producer.sh --broker-list localhost:9092 --topic topic_demo

kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic_demo --consumer-property group.id=group1

**通过添加–consumer-property group.id=group1指定消费组为group1**

--------------------

# 1个生产者和3个消费者 #

![在这里插入图片描述][70 1]  
三个消费者非常理想地将6条消息平均消费，每个消费者两条消息，组合起来就是所有的消息，保证了数据的完整性。

# 1个生产者和4个消费者 #

很出出乎意料的是，当分区数量是3，而消费者数量是4的时候，会有一个消费者拉取不到任何消息  
![在这里插入图片描述][70 2]  
来看看消费组的消费者情况，可以看到下图，有一个消费者是没有对应的partition的，所以它就拉取不到消息。因此，我们在建立topic的时候，可以多建一些分区，保证多个消费者都能对应到分区，避免有消费者被浪费。当然，在创建完topic后，利用命令kafka-reassign-partitions.sh是可以进行增加分区的。  
![在这里插入图片描述][70 3]

# 1个生产者和2个消费者 #

当使用2个消费者的时候，同样出现了我们没有预料到的现象，那就是消费数据的没有被平均分配，而是一个是4条，一个是2条。原因就是一个消费者对应2个分区，另一个消费者对应一个分区，而消息的消费是根据分区进行平均消费的。  
![在这里插入图片描述][70 4]

看一看此时的消费分组就更清楚了，下图中，partition0和partition1对应的consumer\_id都是group1\_Jeffrey.local-1538062744435-29ee459d。  
![在这里插入图片描述][70 5]  
在有些情况下，还会出现数据顺序不对，请看下图，有一个消费者拉取的消息是3265。  
![在这里插入图片描述][70 6]  
kafka的消息是按分区来存储的，只能保证分区上消息是按照顺序拉取（关于kafka存储可以参考我的[另一个篇文章][Link 1]）。  
下图显示的是消息存放的位置，producer将123456推送给broker，broker在消息分别存放在3个partition里面。partition0有消息3和6，partition1有消息2和5，partition2有消息1和4。consumer0消费了partition0和partition1中的消息，并且先消费的是partition0，就出现拉取的消息是3265了。  
![在这里插入图片描述][70 7]  
下图是kafka日志中消息的存放情况。  
![在这里插入图片描述][70 8]  
![在这里插入图片描述][70 9]  
![在这里插入图片描述][70 10]

# 总结 #

同一个消费组的多个消费者相当于一个消费者去消费数据，提高了消费的效率。topic的分区，给消费顺序带来了一些麻烦，通过了解到kafka的底层原理后，在遇到问题时，就可能解释并解决。

[70]: /images/20220510/75d3a46e89494f6aba7179a07e50b342.png
[70 1]: /images/20220510/a845cd6dc028401691e7154307debfd0.png
[70 2]: /images/20220510/f4cc481edf4b4e839ae64ed671f7f786.png
[70 3]: /images/20220510/7cb216d0bdd54d569da4dd3b08d1e31a.png
[70 4]: /images/20220510/9f50320023dc4700944d2e61345d9653.png
[70 5]: /images/20220510/c70b87955af54b24b2a0a043f80dc00e.png
[70 6]: /images/20220510/a8132557c34f4547b4e7eac17bddf3db.png
[Link 1]: https://blog.csdn.net/camel84/article/details/82433075
[70 7]: /images/20220510/6679493df8204ed8b6349d7e24f3af75.png
[70 8]: /images/20220510/8bb6e92e90634cd2af41bef73aa6b6d4.png
[70 9]: /images/20220510/2e93da192004405caaa59b7cd8da6a00.png
[70 10]: /images/20220510/541eb2ff28634c3ea15cbe0ea3f50985.png