kafka中zookeeper的作用，主要是做什么的？

秒速五厘米 2022-10-09 00:49 161阅读 0赞

zookeeper 是 kafka 不可分割的一部分，可见其重要程度，所以我们有必要了解一下 zookeeper 在 kafka 中的具体工作内容。

而且，这也是面试时经常问的。

zookeeper 存储了一些关于 consumer 和 broker 的信息，那么就从这两方面说明 zookeeper 的作用。

# 1. broker #

*  状态

zookeeper 记录了所有 broker 的存活状态，broker 会向 zookeeper 发送心跳请求来上报自己的状态。

zookeeper 维护了一个正在运行并且属于集群的 broker 列表。

*  控制器选举

kafka 集群中有多个 broker，其中有一个会被选举为控制器。

控制器负责管理整个集群所有分区和副本的状态，例如某个分区的 leader 故障了，控制器会选举新的 leader。

从多个 broker 中选出控制器，这个工作就是 zookeeper 负责的。

*  限额权限

kafka 允许一些 client 有不同的生产和消费的限额。

这些限额配置信息是保存在 zookeeper 里面的。

所有 topic 的访问控制信息也是由 zookeeper 维护的。

*  记录 ISR

ISR（in-sync replica） 是 partition 的一组同步集合，就是所有 follower 里面同步最积极的那部分。

一条消息只有被 ISR 中的成员都接收到，才被视为“已同步”状态。

只有处于 ISR 集合中的副本才有资格被选举为 leader。

zookeeper 记录着 ISR 的信息，而且是实时更新的，只要发现其中有成员不正常，马上移除。

*  node 和 topic 注册

zookeeper 保存了所有 node 和 topic 的注册信息，可以方便的找到每个 broker 持有哪些 topic。

node 和 topic 在 zookeeper 中是以临时节点的形式存在的，只要与 zookeeper 的 session 一关闭，他们的信息就没有了。

*  topic 配置

zookeeper 保存了 topic 相关配置，例如 topic 列表、每个 topic 的 partition 数量、副本的位置等等。

# 2. consumer #

*  offset

kafka 老版本中，consumer 的消费偏移量是默认存储在 zookeeper 中的。

新版本中，这个工作由 kafka 自己做了，kafka 专门做了一个 offset manager。

*  注册

和 broker 一样，consumer 也需要注册。

consumer 会自动注册，注册的方式也是创建一个临时节点，consumer down 了之后就会自动销毁。

*  分区注册

kafka 的每个 partition 只能被消费组中的一个 consumer 消费，kafka 必须知道所有 partition 与 consumer 的关系。

[参考地址][Link 1]

[Link 1]: https://www.cnblogs.com/yogoup/p/12000545.html

发表评论取消回复

表情：

评论列表（有 0 条评论，161人围观）

还没有评论，来说两句吧...

相关阅读

相关 96、Kafka中Zookeeper的作用

Kafka中zk的作用 ![在这里插入图片描述][6f480a0504194f19acecdb4525333af6.png] 它是一个分布式协调框架。很好的将消息生产、

曾经终败给现在/ 2024年03月17日 23:28/ 0 赞/ 49 阅读

相关什么是Babel？它的主要作用是什么？

聚沙成塔·每天进步一点点 ⭐ 专栏简介前端入门之旅：探索Web开发的奇妙世界欢迎来到前端入门之旅！感兴趣的可以订阅本专栏哦！这个专栏是为那些对Web开发感

落日映苍穹つ/ 2024年02月20日 12:04/ 0 赞/ 64 阅读

相关 Java swing是做什么的？有什么作用？

在早期JDK1.0发布时，Sun公司就为GUI开发提供了一套基础类库，这套类库被称为AWT(Abstract Window Toolkit)，即抽象窗口工具包。AWT的起初设想

客官°小女子只卖身不卖艺/ 2023年10月08日 20:01/ 0 赞/ 35 阅读

相关 Kafka（六）------Zookeeper在Kafka中发挥的作用

1、Broker注册 Broker是分布式部署并且相互之间相互独立，但是需要有一个注册系统能够将整个集群中的Broker管理起来； Broker在zookeeper中保

快来打我*/ 2023年02月20日 06:26/ 0 赞/ 8 阅读

相关 kafka中zookeeper的作用，主要是做什么的？

zookeeper 是 kafka 不可分割的一部分，可见其重要程度，所以我们有必要了解一下 zookeeper 在 kafka 中的具体工作内容。而且，这也是面试时经常问

秒速五厘米/ 2022年10月09日 00:49/ 0 赞/ 162 阅读

相关 Kafka 中 Zookeeper 的作用

Kafka主要使用ZooKeeper来保存它的元数据、监控Broker和分区的存活状态，并利用ZooKeeper来进行选举一、Kafka在ZooKeeper中保存了哪些信

分手后的思念是犯贱/ 2022年09月01日 09:26/ 0 赞/ 159 阅读

相关 Docker的主要作用是什么？

目前来看，Docker至少有以下应用场景： 1）测试：Docker 很适合用于测试发布，将 Docker 封装后可以直接提供给测试人员进行运行，不再需要测试人员与运维、开

桃扇骨/ 2022年06月16日 07:12/ 0 赞/ 215 阅读

相关 Zookeeper 在 Kafka 中的作用

leader 选举和 follower 信息同步 ![0acf405f965d47c9f0bacb9cf33eb19f.png][] 如上图所示，kafaka集群的

Myth丶恋晨/ 2021年09月25日 03:12/ 0 赞/ 379 阅读

相关 Zookeeper 在 Kafka 中的作用

leader 选举和 follower 信息同步 ![format_png][] 如上图所示，kafaka集群的 broker，和 Consumer 都需要连接 Zo

小咪咪/ 2021年09月02日 10:18/ 0 赞/ 454 阅读

相关数据库中建立索引的主要作用是什么

数据库中建立索引的主要作用是什么数据库中建立索引的主要作用是为了提高查询速度。索引可以加快对数据的查询速度，索引文件作为一个独立的文件进行存储，文件中包含指向表记录的指针。

小灰灰/ 2020年06月07日 15:08/ 0 赞/ 996 阅读