带你深度剖析Kafka架构知识点

水深无声 2023-10-10 13:57 62阅读 0赞

带你深度剖析Kafka架构知识点，学习了解Kafka数据处理、Kafka 核心组件、broker和集群、Consumer与topic关系、Kafka消息的分发、Consumer的负载均衡开发技术。

![f024287e2d0661e56442c9278cb2789d.png][]

**1. Kafka数据处理步骤**  
1.1 Producer产生消息发送到Broker中；  
1.2 Leader状态的Broker接收消息，写入到相应topic中；  
1.3 Leader状态的Broker接收完毕以后，传给Follow状态的Broker作为副本备份；  
1.4 Consumer消费Broker中的消息。

**2. Kafka 核心组件**  
2.1 Producer：消息生产者产生的消息将会被发送到某个topic；  
2.2 Consumer：消息消费者，消费的消息内容来自某个topic；  
2.3 Topic：消息根据topic进行归类，topic其本质是一个目录，即将同一主题消息归类到同一个目录；  
2.4 Broker：每一个kafka实例（或者说每台kafka服务器节点）就是一个broker，一个broker可以有多个topic；  
2.5 Zookeeper： Zookeeper集群不属于kafka内的组件，但kafka依赖 Zookeeper集群保存meta信息，所以在此做声明其重要性。

**3. broker和集群**  
一个独立的Kafka服务器称为broker，broker接收来自生产者的消息为消息设置偏移量并提交消息到磁盘保存。broker为消费者提供服务，对读取分区的请求作出响应，返回已经提交到磁盘上的消息。根据特定的硬件及其性能特征，单个broker可以轻松处理数千个分区以及每秒百万级的消息量。  
broker是集群的组成部分。每个集群都有一个broker同时充当了集群控制器的角色（自动从集群的活跃成员中选举出来）。控制器负责管理工作，包括将分区分配给broker和监控broker。在集群中，一个分区从属于一个broker，该broker被称为分区的首领。一个分区可以分配多个broker，这个时候会发生分区复制。这种复制机制为分区提供了消息冗余，如果一个broker失效，其他broker可以接管领导权。不过，相关的消费者和生产者都要重新连接到新的首领。

**4. Consumer与topic关系**  
kafka只支持Topic  
•每个group中可以有多个consumer，每个consumer属于一个consumer group；通常情况下，一个group中会包含多个consumer，这样不仅可以提高topic中消息的并发消费能力，而且还能提高”故障容错”性，如果group中的某个consumer失效那么其消费的partitions将会由其它consumer自动接管。  
•对于Topic中的一条特定的消息，只会被订阅此Topic的每个group中的其中一个consumer消费，此消息不会发送给一个group的多个consumer；那么一个group中所有的consumer将会交错的消费整个Topic，每个group中consumer消息消费互相独立，我们可以认为一个group是一个”订阅”者。  
•在kafka中,一个partition中的消息只会被group中的一个consumer消费(同一时刻)；  
一个Topic中的每个partions，只会被一个”订阅者”中的一个consumer消费，不过一个consumer可以同时消费多个partitions中的消息。  
•kafka的设计原理决定,对于一个topic，同一个group中不能有多于partitions个数的consumer同时消费，否则将意味着某些consumer将无法得到消息，而处于空闲状态。  
kafka只能保证一个partition中的消息被某个consumer消费时是顺序的；事实上，从Topic角度来说,当有多个partitions时,消息仍不是全局有序的。

**5. Kafka消息的分发**  
•Producer客户端负责消息的分发  
•kafka集群中的任何一个broker都可以向producer提供metadata信息,这些metadata中包含”集群中存活的servers列表”、“partitions leader列表”等信息；  
•当producer获取到metadata信息之后, producer将会和Topic下所有partition leader保持socket连接；  
•消息由producer直接通过socket发送到broker，中间不会经过任何”路由层”。事实上，消息被路由到哪个partition上由producer客户端决定，比如可以采用”random””key-hash””轮询”等。  
•如果一个topic中有多个partitions,那么在producer端实现”消息均衡分发”是必要的。  
•在producer端的配置文件中,开发者可以指定partition路由的方式。  
•Producer消息发送的应答机制  
设置发送数据是否需要服务端的反馈,有三个值0,1,-1  
–0: producer不会等待broker发送ack  
–1: 当leader接收到消息之后发送ack  
–-1: 当所有的follower都同步消息成功后发送ack  
request.required.acks=0

**6. Consumer的负载均衡**  
当一个group中,有consumer加入或者离开时,会触发partitions均衡.均衡的最终目的,是提升topic的并发消费能力，步骤如下：  
1.假如topic1,具有如下partitions: P0,P1,P2,P3  
2.加入group A 中,有如下consumer: C0,C1  
3.首先根据partition索引号对partitions排序: P0,P1,P2,P3  
4.根据consumer.id排序: C0,C1  
5.计算倍数: M = \[P0,P1,P2,P3\].size / \[C0,C1\].size,本例值M=2(向上取整)  
6.然后依次分配partitions: C0 = \[P0,P1\],C1=\[P2,P3\],即Ci = \[P(i \* M),P((i + 1) \* M -1)\]

[f024287e2d0661e56442c9278cb2789d.png]: https://img-blog.csdnimg.cn/img_convert/f024287e2d0661e56442c9278cb2789d.png