Kafka学习笔记（四）工作流程

梦里梦外; 2023-06-25 03:26 28阅读 0赞

# Kafka学习笔记（四）工作流程 #

## 发布 - 订阅消息的工作流程： ##

1.生产者定期向主题发送消息。

2.Kafka代理存储为该特定主题配置的分区中的所有消息。 它确保消息在分区之间平等共享。 如果生产者发送两个消息并且有两个分区，Kafka将在第一分区中存储一个消息，在第二分区中存储第二消息。

3.消费者订阅特定主题。

4.一旦消费者订阅主题，Kafka将向消费者提供主题的当前偏移，并且还将偏移保存在Zookeeper系综中。

5.消费者将定期请求Kafka(如100 Ms)新消息。

6.一旦Kafka收到来自生产者的消息，它将这些消息转发给消费者。

7.消费者将收到消息并进行处理。

8.一旦消息被处理，消费者将向Kafka代理发送确认。

9.一旦Kafka收到确认，它将偏移更改为新值，并在Zookeeper中更新它。 由于偏移在Zookeeper中维护，消费者可以正确地读取下一封邮件，即使在服务器暴力期间。

10.以上流程将重复，直到消费者停止请求。

11.消费者可以随时回退/跳到所需的主题偏移量，并阅读所有后续消息。

## 队列消息/用户组的工作流 ##

在队列消息传递系统而不是单个消费者中，具有相同组ID 的一组消费者将订阅主题。 简单来说，订阅具有相同 Group ID 的主题的消费者被认为是单个组，并且消息在它们之间共享。

1.生产者以固定间隔向某个主题发送消息。

2.Kafka存储在为该特定主题配置的分区中的所有消息，类似于前面的方案。

3.单个消费者订阅特定主题，假设 Topic-01 为 Group ID 为 Group-1 。

4.Kafka以与发布 - 订阅消息相同的方式与消费者交互，直到新消费者以相同的组ID 订阅相同主题 Topic-01 1 。

5.一旦新消费者到达，Kafka将其操作切换到共享模式，并在两个消费者之间共享数据。 此共享将继续，直到用户数达到为该特定主题配置的分区数。

6.一旦消费者的数量超过分区的数量，新消费者将不会接收任何进一步的消息，直到现有消费者取消订阅任何一个消费者。 出现这种情况是因为Kafka中的每个消费者将被分配至少一个分区，并且一旦所有分区被分配给现有消费者，新消费者将必须等待。

7.此功能也称为使用者组。 同样，Kafka将以非常简单和高效的方式提供两个系统中最好的。

## ZooKeeper的作用 ##

Kafka的一个关键依赖是Apache Zookeeper，它是一个分布式配置和同步服务。 Zookeeper是Kafka代理和消费者之间的协调接口。 Kafka服务器通过Zookeeper集群共享信息。 Kafka在Zookeeper中存储基本元数据，例如关于主题，代理，消费者偏移(队列读取器)等的信息。  
由于所有关键信息存储在Zookeeper中，并且它通常在其整体上复制此数据，因此Kafka代理/ Zookeeper的故障不会影响Kafka集群的状态。 Kafka将恢复状态，一旦Zookeeper重新启动。 这为Kafka带来了零停机时间。 Kafka代理之间的领导者选举也通过使用Zookeeper在领导者失败的情况下完成。

发表评论取消回复

表情：

评论列表（有 0 条评论，28人围观）

还没有评论，来说两句吧...

相关阅读

相关笔记二十四、剖析Redux的工作流程

用做于状态管理的第三方 js 库react框架中使用，也可应用于其他的框架使用场景组件间需要共享状态和改变另一个组件的状态在react项目中可以不使用就尽量不用，复杂场景...

╰半橙微兮°/ 2024年05月01日 16:24/ 0 赞/ 80 阅读

相关 Kafka：Broker工作流程

![ce6a09c3fe7d4849a6a2819584b5bc2b.png][] ar：Kafka分区中的所有副本统称 isr：包含leader和follower 步骤

女爷i/ 2024年03月24日 17:05/ 0 赞/ 116 阅读

相关 kafka工作流程分析

1 kafka核心组成 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9

红太狼/ 2023年07月09日 02:17/ 0 赞/ 31 阅读

相关 Kafka学习笔记（四）工作流程

Kafka学习笔记（四）工作流程发布 - 订阅消息的工作流程： 1.生产者定期向主题发送消息。 2.Kafka代理存储为该特定主题配置的分区中的所有消息。它确

梦里梦外;/ 2023年06月25日 03:26/ 0 赞/ 29 阅读

相关 python 学习笔记（四）（流程控制）

列表 Python 中可以通过组合一些值得到多种复合数据类型。其中最常用的列表，可以通过方括号括起、逗号分隔的一组值得到。一个列表可以包含不同类型的元素，但通

末蓝、/ 2023年05月28日 12:50/ 0 赞/ 53 阅读

相关 Kafka工作流程分析

存储机制 Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic的。 topic 是逻辑上的概念，而 partition

末蓝、/ 2022年11月06日 12:49/ 0 赞/ 226 阅读

相关 Kafka--原理--工作流程

原文网址：[Kafka--原理--工作流程\_IT利刃出鞘的博客-CSDN博客][Kafka--_--_IT_-CSDN] 简介本文介绍Kafka的工作流程（工作原理

蔚落/ 2022年11月05日 03:06/ 0 赞/ 400 阅读

相关 Kafka-工作流程及各个组件的工作机制

Kafka 架构深入 Kafka 工作流程及文件存储机制 ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_s

淡淡的烟草味﹌/ 2022年09月09日 00:23/ 0 赞/ 212 阅读

相关 Mybatis学习笔记：二、Mybatis工作原理与工作流程

上一节介绍了Mybatis的开发流程，这节分析下Mybatis工作原理与工作流程最原始的sql执行是这样的： import java.sql.Connection

逃离我推掉我的手/ 2022年05月20日 02:37/ 0 赞/ 341 阅读

相关 Java学习笔记——SpringMVC工作流程

> Http -> DispatcherServlet -> HandlerMapping -> Controller -> ModelAndView -> Dispatche

快来打我*/ 2022年05月19日 03:08/ 0 赞/ 145 阅读