Kafka架构简介

旧城等待， 2021-09-30 00:08 438阅读 0赞

一、kafka的架构

1、Broker

kafka集群包含一个或者多个服务器，这种服务器就叫做Broker

2、Topic

每条发布到kafka集群的消息都有一个类别，这个类别就叫做Topic（逻辑上的概念，物理上不同的Topic的消息分开存储，逻辑上一个topic的消息虽然保存于一个或者多个broker上但是用户只需指定消息的Topic，即可生产或者消费数据而不必关心数据存储在何处）

3、Partition

Partition是物理上的概念，每个Topic对应一个或者多个Partition

4、Producer

负责将消息发送到kafka的broker服务器上

5、Consumer

消息消费者，向kafka broker读取消息的客户端

6、Consumer Group

high-level  consumer-API中，每个consumer都属于一个consumer group，每个consumer group会有多个consumer，但每个消息只能被consumer group的一个consumer消费，但可以被多个group 消费（可为每个Consumer指定consumer name，如果不指定则属于默认的group）

7、replica

partition 的副本，保障 partition 的高可用

8、**leader**

replica 中的一个角色， producer 和 consumer 只跟 leader 交互

9、follower

replica 中的一个角色，从 leader 中复制数据

10、**controller**

kafka 集群中的其中一个服务器，用来进行 leader election 以及 各种 failover

11、**zookeeper**

kafka 通过 zookeeper 来存储集群的 meta 信息

二、kafka的拓扑结构

![1007277-20180509115328074-233566512.png][]

一个典型的Kafka集群包含若干个producer（可以是web端产生的page view,或者是服务器日志，系统cpu，memery等），若干个broker（kafka支持水平发生扩展，一般broker数量越多，集群吞吐率越高），若干Consumer group，以及一个zookeeper集群，kafka通过zookeeper管理集群配置，选举leader，以及在consumer group发生变化时进行rebalance。Producer使用**push模式**将消息发布到broker，Consumer使用**pull模式**从broker订阅并消费消息。

转载于:https://www.cnblogs.com/cherish010/p/9013372.html

[1007277-20180509115328074-233566512.png]: /images/20210725/73d0e3dff4d743e38d5011753d8dbe22.png

发表评论取消回复

表情：

评论列表（有 0 条评论，438人围观）

还没有评论，来说两句吧...

相关阅读

相关 kafka简介

消息队列为什么要使用消息队列 1. 解耦（类似Spring的IOC）允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2.

野性酷女/ 2022年10月23日 12:45/ 0 赞/ 221 阅读

相关 kafka简介

kafka简介本文翻译参考原文为：http://kafka.apache.org/intro 简介 kafka 是一个分布式流平台。那到底意味着什么？

女爷i/ 2022年09月28日 05:48/ 0 赞/ 196 阅读

相关 kafka架构

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5a2m5Lqu57yW5

╰半夏微凉°/ 2022年09月11日 04:24/ 0 赞/ 190 阅读

相关 Kafka简介

Publish/Subscribe（Topic）简称发布/订阅模式。例如我微博有30万粉丝，我今天更新了一条微博，那么这30万粉丝都可以接收到我的微博更新，大家都可以消

￡神魔★判官ぃ/ 2022年09月08日 03:57/ 0 赞/ 198 阅读

相关 Kafka 的简介与架构

一、简介 1.1 概述 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做

ゝ一纸荒年。/ 2022年09月01日 09:23/ 0 赞/ 164 阅读

相关 Kafka简介

概述 Kafka是Apache软件基金会旗下的子项目，是一个分布式的消息系统，它用简洁的设计实现了一个消息系统的功能。首先，回顾一下消息系统的基本语义： \-

青旅半醒/ 2022年05月31日 02:52/ 0 赞/ 231 阅读

相关 kafka 架构设计简介(一)

一、概述 kafka是一个分布式的消息系统，由LinkedIn开发，后成为Apache的一部分。它以水平扩展和高吞吐率被广泛使用。最近开始深入学习kafka，然后打算

梦里梦外;/ 2022年05月25日 13:59/ 0 赞/ 165 阅读

相关 kafka-01 Kafka简介

![70][] Kafka是一种高吞吐量的[分布式][Link 1]发布订阅消息系统，使用Scala编写。对于熟悉JMS（Java Message Servic

柔光的暖阳◎/ 2022年05月16日 23:19/ 0 赞/ 290 阅读

相关 Kafka简介

背景：当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息

红太狼/ 2022年03月28日 12:56/ 0 赞/ 279 阅读

相关 Kafka架构简介

一、kafka的架构 1、Broker kafka集群包含一个或者多个服务器，这种服务器就叫做Broker 2、Topic 每条发布到kafka集群的消

旧城等待，/ 2021年09月30日 00:08/ 0 赞/ 439 阅读