Kafka-数据持久化

逃离我推掉我的手 2023-10-11 12:32 54阅读 0赞

Kafka很大程度上依赖文件系统来存储和缓存消息。有一普遍的认识：磁盘很慢—这让人们怀疑使用磁盘作为持久化的性能。实际上，磁盘是快还是慢完全取决于我们是如何使用它。  
就目前来说，一个 6块 7200rpm SATA RAID-5磁盘线性（顺序）写入的性能能达到600MB/sec，而任意位置写（寻址再写）的性能只有100k/sec。这些线性读写是所有使用模式中最可预测的，并且由操作系统进行了大量优化。现在的操作系统提供了预读取和后写入的技术。实际上你会发现，顺序的磁盘读写比任意的内存读写更快。

**基于JVM内存有以下缺点：**

*  对象的内存开销非常高，通常会让存储数据的大小加倍（或更多）
 *  随着堆内数据的增加，GC的速度越来越慢，而且可能导致错误

**基于操作系统的文件系统来设计有以下好处：**

*  可以通过操作系统的pagecache来有效利用主内存空间，由于数据紧凑，可以cache大量数据，并且没有gc的压力
 *  即使服务重启，缓存中的数据也是热的（不需要预热）。而基于进程的缓存，需要程序进行预热，而且会消耗很长的时间。
 *  大大简化了代码。因为在缓存和文件系统之间保持一致性的所有逻辑都在OS中。以上建议和设计使得代码实现起来十分简单，不需要尽力想办法去维护内存中的数据，数据会立即写入磁盘。
    
    这种以页面缓存（pagecache）为中心的设计风格在一篇关于Varnish设计的文章中有详细描述。  
    **总的来说，Kafka不会保持尽可能多的内容在内存空间，而是尽可能把内容直接写入到磁盘。所有的数据都及时的以持久化日志的方式写入到文件系统，而不必要把内存中的内容刷新到磁盘中。**

**Kafka的持久化**  
1.数据持久化：

*  发现线性的访问磁盘（即：按顺序的访问磁盘），很多时候比随机的内存访问快得多，而且有利于持久化；
 *  传统的使用内存做为磁盘的缓存
 *  Kafka直接将数据写入到日志文件中，以追加的形式写入

2.日志数据持久化特性：

*  写操作：通过将数据追加到文件中实现
 *  读操作：读的时候从文件中读就好了

3.优势：

*  读操作不会阻塞写操作和其他操作（因为读和写都是追加的形式，都是顺序的，不会乱，所以不会发生阻塞），数据大小不对性能产生影响；
 *  没有容量限制（相对于内存来说）的硬盘空间建立消息系统；
 *  线性访问磁盘，速度快，可以保存任意一段时间！

4.持久化的具体实现：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIzMDA2Mw_size_16_color_FFFFFF_t_70]  
5.索引

为数据文件建索引：  
稀疏存储，每隔一定字节的数据建立一条索引（这样的目的是为了减少索引文件的大小）。

下图为一个partition的索引示意图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIzMDA2Mw_size_16_color_FFFFFF_t_70 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIzMDA2Mw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190923163413413.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIzMDA2Mw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIzMDA2Mw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20190923163449728.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIzMDA2Mw==,size_16,color_FFFFFF,t_70