kafka学习笔记

ゝ一世哀愁。 2023-02-15 12:41 32阅读 0赞

参考文章：[kafka学习笔记][kafka]

# kafka #

## 1、kafka简介 ##

kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue）,在kafka中主要涉及到四个基本名词:

> **Topic** Kafka将消息种子分门别类， 每一类的消息称之为一个主题(Topic).
> 
> **Producer** 发布消息的对象称之为主题生产者.
> 
> **Consumer** 订阅消息并处理消息的对象称之为主题消费者
> 
> **Broker** 已发布的消息保存在一组服务器中，称之为Kafka集群。集群中的每一个服务器称为一个代理(Broker). 消费者可以订阅一个或多个主题，并从Broker拉数据(注意是拉,不是pull,)，从而消费这些已发布的消息。

生产者和消费者由开发人员编写，通过API连接到Broker Server进行数据操作

## 2、其他名词的辨析 ##

>  *  **controller:** Kafka集群中有一个broker会被选举为Controller，负责管理集群broker的上下线，所有topic增删、分区副本分配和 *leader选举* 等工作。***Controller的管理工作都是依赖于Zookeeper的。***controller通过各broker在zk中抢注产生。
>  *  **分区partition：**每个 Topic 可以划分多个分区（每个 Topic 至少有一个分区），同一 Topic 下的不同分区包含的消息是不同的。每个消息在被添加到分区时，都会被分配一个 offset，它是消息在此分区中的唯一编号，Kafka 通过 offset 保证消息在分区内的顺序，offset 的顺序不跨分区，即 Kafka ***只保证同一分区内消息有序***。
>  *  **leader：**为保证可靠性patition可能需要进行备份，于是每个分区都有一台 server 作为 “leader”，零台或者多台server作为 follwers。***leader server 处理一切对 partition 的读写请求***，而follwers只需被动的同步leader上的数据。当leader宕机了，ISR（in-sync replica set）列表中的第一副本服务器会自动成为新的 leader，ISR列表由leader维护并写入zk中。
>  *  **Consumer Group：**逻辑上的概念，是Kafka实现单播和广播两种消息模型的手段。同一个topic的数据，会广播给不同的group；同一个group中的Consumer，只有一个Consumer能拿到这个数据。换句话说，***对于同一个topic，每个group都可以拿到同样的所有数据，但是数据进入group后只能被其中的一个Consumer消费***。group内的Consumer可以使用多线程或多进程来实现，也可以将进程分散在多台机器上，Consumer的数量通常不超过partition的数量，且二者最好保持整数倍关系，因为Kafka在设计时假定了一个partition只能被一个Consumer消费（同一group内）。

## 3、kafka生产者 ##

*  **消息发送流程：**Kafka的Producer发送消息采用的是**异步发送**的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。

![format_png][]

其中：batch.size**：**只有数据积累到batch.size之后，sender才会发送数据。

linger.ms**：**如果数据迟迟未达到batch.size，sender等待linger.time之后就会发送数据。

>  *  **分区的原则：**
>     
>     （1）指明 partition 的情况下，直接将指明的值直接作为 partiton 值；
>     
>     （2）没有指明 partition 值但有 key 的情况下（kafka中的消息即为key-value对，key可以为空，value也可以为空），将 key 的 hash 值与 topic 的 partition 数进行取余得到 partition 值；
>     
>     （3）既没有 partition 值又没有 key 值的情况下，第一次调用时随机生成一个整数（后面每次调用在这个整数上自增），将这个值与 topic 可用的 partition 总数取余得到 partition 值，也就是常说的 round-robin 算法。
>  *  **消息发送可靠级别acks=\[0,1,-1\]**

## 4、kafka消息存储 ##

>  *  kafka自己存储数据，不依赖HDFS。
>  *  kafka的数据是持久化的，被消费后不会消失
>  *  Kafka中消息是以**topic**进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。
>  *  topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端，且每条数据都有自己的offset。消费者组中的每个消费者，都会实时记录自己消费到了哪个offset，以便出错恢复时，从上次的位置继续消费。
>     
>     由于生产者生产的消息会不断追加到log文件末尾，为防止log文件过大导致数据定位效率低下，Kafka采取了**分片**和**索引**机制，将每个partition分为多个segment。
>     
>     每个partition(目录)相当于一个巨型文件被平均分配到多个大小相等的segment(段)数据文件中（每个segment 文件中消息数量不一定相等），这种特性也方便old segment的删除，即方便已被消费的消息的清理，提高磁盘的利用率。每个partition只需要支持顺序读写就行，segment的文件生命周期由服务端配置参数（log.segment.bytes，log.roll.\{ms,hours\}等若干参数）决定。
>     
>     每个segment对应两个文件——“.index”文件和“.log”文件。分别表示为segment索引文件和数据文件（引入索引文件的目的就是便于利用二分查找快速定位message位置）。这两个文件的命令规则为：partition全局的第一个segment从0开始，后续每个segment文件名为上一个segment文件最后一条消息的offset值，数值大小为64位，20位数字字符长度，没有数字用0填充。
>     
>     这些文件位于一个文件夹下（partition目录），该文件夹的命名规则为：topic名称+分区序号。例如，first这个topic有三个分区，则其对应的文件夹为first-0,first-1,first-2。
>     
>     ![format_png 1][]
>     
>     “.index”文件存储大量的索引信息，“.log”文件存储大量的数据，索引文件中的元数据指向对应数据文件中message的物理偏移地址。index和log文件以当前segment的第一条消息的offset命名。下图为index文件和log文件的结构示意图。
>  *  ![format_png 2][]

## 5、kafka消费者 ##

>  *  **消费方式：**consumer采用pull（拉）模式从broker中读取数据。
>     
>      *  push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的。它的目标是尽可能以最快速度传递消息，但是这样很容易造成consumer来不及处理消息，典型的表现就是拒绝服务以及网络拥塞。
>      *  pull模式则可以根据consumer的消费能力以适当的速率消费消息，但其不足之处是，如果kafka没有数据，消费者可能会陷入循环中，一直返回空数据。针对这一点，Kafka的消费者在消费数据时会传入一个时长参数timeout，如果当前没有数据可供消费，consumer会等待一段时间之后再返回，这段时长即为timeout。
>  *  **分区分配策略：**确定那个partition由哪个consumer来消费，kafka中的默认消费逻辑是：一个分区只能被同一个消费组（ConsumerGroup）内的一个消费者消费。
>     
>      *  Kafka有两种分配策略，一是RoundRobin，一是Range。
>      *  当以下事件发生时，Kafka 将会进行一次分区分配：
>         
>         l 同一个 Consumer Group 内新增消费者
>         
>         l 消费者离开当前所属的Consumer Group，包括shuts down 或 crashes
>         
>         l 订阅的主题新增分区
>      *  具体分配策略可见：[深入分析Kafka架构（三）：消费者消费方式、三种分区分配策略、offset维护][Kafka_offset]

## 6、版本特性的变化 ##

>  *  在0.8.0版本后，producer不再通过zookeeper连接broker, 而是通过brokerlist（hadoop102:9092,hadoop103:9092）配置,直接和broker连接，只要能和一个broker连接上就能够获取到集群中其他broker上的信息,***减轻zk负担***。
>  *  每个消费者都要维护自己读取数据的offset。低版本0.9之前将offset保存在Zookeeper中，0.9及之后保存在Kafka的“\_\_consumer\_offsets”主题中。

## 7、一些值得注意的点 ##

>  *  partitoin的数量可以多于broker。
>  *  消费者一定会有一个消费者组，可以指定消费者去消费一个topic的消息，也可以指定消费者组去消费一个topic的消息，指定时只能到topic级别，无法指定具体分区。

[kafka]: https://www.cnblogs.com/DavonC/p/12737989.html
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWcyMDIwLmNuYmxvZ3MuY29tL2Jsb2cvMTg1OTQ5NS8yMDIwMDQvMTg1OTQ5NS0yMDIwMDQyMDE1MTgyMTQ2OC00NTkwNTAyMjEucG5n?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWcyMDIwLmNuYmxvZ3MuY29tL2Jsb2cvMTg1OTQ5NS8yMDIwMDQvMTg1OTQ5NS0yMDIwMDQyMDE1MTcwNTUwMi0xODUyMTMzMzUyLnBuZw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWcyMDIwLmNuYmxvZ3MuY29tL2Jsb2cvMTg1OTQ5NS8yMDIwMDQvMTg1OTQ5NS0yMDIwMDQyMDE1MTQ1MjA2MS0zMTQyMDIwMjEucG5n?x-oss-process=image/format,png
[Kafka_offset]: https://my.oschina.net/u/4262150/blog/3274346