kafka的零拷贝原理

谁借莪１个温暖的怀抱￠ 2024-02-17 10:21 40阅读 0赞

#### kafka的零拷贝原理 ####

*  具体背景
 *  拷贝分析
 *  零拷贝
 *  实现零拷贝原理

## 具体背景 ##

在实际应用中，如果我们需要把磁盘中的某个文件内容发送到远程服务器上，像下面这种情况：

![在这里插入图片描述][660399d01293407281fdfb1ec5b1c0af.png]  
那么他必须要经过几个拷贝的一个过程：

1.  第一个从磁盘中去读取目标文件的内容，拷贝到内核缓冲区。
2.  第二个CPU控制器把内核缓冲区中的数据拷贝到用户空间的缓冲区中。
3.  第三个在应用程序中调用`write()`方法，把用户空间缓冲区中的数据拷贝到内核空间的Socket Buffer中。
4.  第四个把在内核模式下的SocketBuffer中的数据赋值到网卡缓冲区，叫NIC Buffer。
5.  最后网卡缓冲区再把数据传输到目标服务器上。

## 拷贝分析 ##

在这个过程中，我们可以发现数据从磁盘到最终发送出去要经历4次拷贝。而在这4次拷贝过程中，有两次拷贝是浪费的：1）从内核空间拷贝到用户空间。2）从用户空间再次拷贝到内核空间

## 零拷贝 ##

除此之外，由于用户空间和内核空间的切换会带来CPU的上下文切换，对于CPU的性能也会造成影响。而所谓的零拷贝就是把这两次多余的拷贝忽略掉，应用程序可以直接把磁盘中的数据从内核中直接传输到Socket，而不需要再次经过应用程序所在的用户空间。

![在这里插入图片描述][57b7a20de57d48b494be175d9b1cae4a.png]  
零拷贝通过DMA(Direct Memory Access)技术，把文件内容复制到内核空间中的Read Buffer。

接着把包含数据长度和位置的信息的文件描述符加载到Socket Buffer中。DMA引擎直接可以把数据从内核空间传递到网卡设备。在这一过程中，数据只经历了两次拷贝，就把数据发送到网卡中，并且减少了两次CPU的上下文切换。对于效率是有非常大的提高。

所以所谓的零拷贝并不是完全没有数据的拷贝，只是相对于用户空间来说，不需要再进行数据的拷贝。对于前面说的整个流程来说，零拷贝只是减少了不必要的拷贝次数而已。

## 实现零拷贝原理 ##

在Linux系统中，零拷贝技术依赖于底层的sendfile（）方法去实现的。而在Java中，FileChannal.transferTo()方法的底层实现就是sendfile()方法。

除此之外，还有一个叫mmap的文件映射机制，它的原理是把磁盘文件映射到内存，用户通过修改内存就可以修改磁盘文件。

使用这种方式就可以获得很大的I/O提升。省去了用户空间到内核空间的复制开销。

**参考材料**：[kafka的零拷贝原理][kafka]

[660399d01293407281fdfb1ec5b1c0af.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/2c4d15111a9f4b32879b958981c02a25.png
[57b7a20de57d48b494be175d9b1cae4a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/81769f473549451b838540db8db573e1.png
[kafka]: https://www.bilibili.com/video/BV1iV4y1m7wy?p=3&vd_source=a1af903e57688df870625021f7f3a7eb