深度解析kafka broker消息存储组件初始化流程

今天药忘吃喽~ 2023-01-04 13:26 159阅读 0赞

> 原创不易，转载请注明出处

### 文章目录 ###

*   *   *  前言
         *  1.LogManager
         *  2.Log
         *  3.LogSegment
         *  4.FileMessageSet
         *  5.OffsetIndex
         *  总结

--------------------

### 前言 ###

本文主要介绍下kafka 消息（日志）存储模块涉及到的核心组件是怎样初始化的，各个组件之前的联系与关系，各个组件对应到磁盘上是什么样的，比如说Log 对应到磁盘上就是某个分区（partition）的文件夹（topic-partition），这个文件夹下面那堆文件是怎样与LogSegment 对应起来的等等。

### 1.LogManager ###

先介绍下这个LogManager ，我们不是在kafka 配置文件中配置了个`log.dirs`日志文件存放路径的嘛，这个`log.dirs`参数其实可以配置多个，LogManager就是管理路径下Log对象生命周期的，关于这个Log是啥我们第二小节会介绍到。  
在kafka sever 启动的时候，会创建一个LogManager，也就是KafkaServer 的startup中。  
![在这里插入图片描述][20210110130956970.png]  
我们看下这个createLogManager方法  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70]  
前面那堆处理配置的我们先不用管，重点关注这个红框框起来的就可以，可以看到就是创建了一个LogManager对象，需要注意它第一个参数。  
我们看下它的是怎样初始化的  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 1]  
重点关注logs这个成员与loadLogs这个方法。  
这个logs你可以理解成map，它这个pool底层就是个map，里面存放着 partition 与Log的对应关系。  
接着看下loadLogs 方法。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 2]  
这个方法比较长，我们重点关注下红框里面的，先说下整体的，就是遍历这个`log.dirs` 配置项配置的日志存储路径，你要是配置多个，就循环多次，可以看到循环一次就对应这个创建一个线程池，接着就是获取dir 路径下面的`recovery-point-offset-checkpoint` 文件里面内容，里面就是每个partition一个检查点，这个先不用管。重要的是下面这个红框里的逻辑，遍历这dir下面的所有子文件夹，扔到线程池执行，我们看下里面内容  
根据子文件夹的名字解析出来它的topic与partition，接着就是创建对应的Log对象了。  
这里文件夹名字就能解析出来topic与partition？ 这就与它的存储有关里。  
比如说你的topic是test-topic，partition 是0。它就会创建一个对应名字为“test-topic-0”的文件夹，这个文件夹也就代表一个分区，这个分区下面的所有日志文件都放在这个文件夹下面。这个文件夹对应的对象就是Log。  
接着就是将partition 与Log对象的对应关系放到logs这个map中。

### 2.Log ###

通过第一小节的介绍，我们应该这个Log对象对应的是啥了吧，它就是对应的某个 partition 文件目录。  
接着我们来看看Log对象创建都干了些啥。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 3]  
这里比较重点的是segments 与loadSegments  
这个segments 是个map，里面存储着 每个日志段起始offset 与 日志段对象的对应关系。关于这个LogSegment 我们后面会介绍。  
在介绍这个loadSegments 方法之前，我们先看下kafka 每个partition 文件夹下面是怎样存储的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 4]  
我这里有个topic 是xxx2 partition是0的文件夹，就是当前这个Log对象对应的。  
可以看到它里面分为了.index文件与.log文件，这个.index文件 是为了存储稀疏索引的，这个.log存储的是具体的消息。  
比如说 00000000000000000000.index与 00000000000000000000.log文件就是一个日志段  
00000000000016950695.index与 00000000000016950695.log文件就是下一个日志段  
一个日志段里面必须要有.index文件与.log文件组成。  
好了我们看下它是怎么加载日志段的。  
我们这里只看下比较核心的  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 5]  
就是遍历某个partition 目录下面的所有文件，这里就有.index文件与.log文件，首先如果是个index文件的话，就组装出来对应的log 文件，看看log文件存在不，如果不存在的话就把这个index文件删掉。  
如果是个log 文件的话，就解析出来它的start ，start就是它文件名抛去.log 然后再转成long，就像 00000000000016950695.log这个文件处理出来的start 就是16950695，然后拼接出来一个它对应的.index文件对象，接着就是创建LogSegment对象了，这一步非常的重要。接着就是判断index存不存在了，如果存在就是检查一下是不是完整，不完整就删除文件，重新搞一个。如果index文件不存在就是重新弄一个，最后是将LogSegment 对象存入segments 这个map中缓存，可以看到key是start。

### 3.LogSegment ###

先介绍下LogSegment ，kafka 中一个partition 对应着一个日志文件，而是对应多个，分段处理，我们从上面的加载LogSegment的时候也能感受到，然后每个日志段下面又分为.log与.index 文件，.log 是存储具体消息的，.index 文件是存储稀疏索引的。  
上面我们还看到了这个日志段有个start，我们解析下这个start 是怎么来的。  
一开始的时候，肯定是创建000000000.index与000000000.log文件，消息来的时候就不停的往000000000.index与000000000.log 写消息，但是不是无限往下写的，而是有个大小限制，默认是一个.log文件是1个G，可以通过`segment.bytes`参数配置。index文件也是有大小限制的。当.log文件或者index文件满了的话，就会创建一个新的段，然后将消息追加到新的段里面log与index文件中。  
一开始的时候 消息的offset是0 ，每增加一条offset+1，当这个log或者index文件满了的时候，就会创建新的段，文件名就是offset。  
比如说 到了100070这个offset了，到100071写不下了，100071这个消息就要被追加到新的log中，而start就是100071，也就是它的baseOffset。  
接着看看它的初始化过程。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 6]  
LogSegment 只是个逻辑上的，对应实际上物理存在的东西还是要找它两个子类。  
一个FileMessageSet ， 一个是OffsetIndex ，分别对应着log 文件与index索引文件。

### 4.FileMessageSet ###

从第三小节我们知道了这个FileMessageSet对应的是个log 文件，我们看下它是怎么初始化的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 7]  
这里打开了一个channel，我们看下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 8]  
其实还是创建了RandomAccessFile对象，然后读写模式，获取了一下channel。  
这里是jdk nio的东西我们就不多介绍了。

### 5.OffsetIndex ###

这个OffsetIndex 就是对应的.index文件，我们看下它的初始化。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 9]  
就是创建一个RandomAccessFile对象，最最最重要的还是`val idx = raf.getChannel.map(FileChannel.MapMode.READ_WRITE, 0, len)`这行，使用了mmap 内存文件映射技术。

### 总结 ###

总结一下各个组件是干嘛的

1.  LogManager管理多个log.dir 日志目录。
2.  Log是对应的每个partition 文件夹，每个partition 文件下存在多个日志段。
3.  LogSegment 是个逻辑上的，对应的是某个partition的某个日志段，它下面分别有个同名.index与.log文件。
4.  FileMessageSet 对应的就是某个段的.log 文件。
5.  OffsetIndex 对应的就是某个段的.index文件。

[20210110130956970.png]: /images/20221119/29bf8a2ef2a34316b4793556b3dd8e0d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210110131050686.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210110131338812.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210110132003805.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210110133504512.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20210110134323824.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20210110134915678.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20210110141823765.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20210110142154200.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20210110142233896.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20210110142443948.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70