Netty(九)——ByteBuf源码之析

淩亂°似流年 2022-04-17 02:15 322阅读 0赞 
  1.    ByteBuf在Netty占据着中重要的位置，上篇《[Netty——ByteBuf功能之说][Netty_ByteBuf]》讲了ByteBuf的工作原理和重要功能介绍。这篇从源码的角度来看ByteBuf。首先，来看一下主要的类继承结构图：

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdWppYWhhbjYyOTYyOQ_size_16_color_FFFFFF_t_70

  1.    我们从两个角度看下上图：
  3.    从内容分配角度上分为：1，堆内存（HeapByteBuf）字节缓冲区，特点是内存的分配和回收速度快，可被JVM自动回收；缺点是如果进行Socket的I/O读写，需要额外做一次内存复制，将堆内存对应的缓冲区复制到内核Channel中，性能会有一定程度的下降。2，直接内存（DirectByteBuf）字节缓冲区：在堆外进行内存分配，相比于堆内存分配和回收速度会慢一些，但是将它写入或者从Socket Channel中读取会很快。经验表明：ByteBuf的最佳实践是在I/O通信线程的读写缓冲区使用DirectByteBuf，后端业务消息处理使用HeapByteBuf。
  5.    从内存回收角度看分为：1，对象池的ByteBuf和普通的ByteBuf。主要区别就是对象池的ByteBuf维护了一个内存池，可以循环利用创建的ByteBuf，提高内存的使用率，降低由于高负载导致的频繁GC。
  7.    好，下边，我来看下各个类的源码分析，由于我这里用思维导图进行的源码分析总结，将涉及到源码的部分放到了注释中，就不一一展示了，这里先看下总结的导图吧：

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdWppYWhhbjYyOTYyOQ_size_16_color_FFFFFF_t_70 1

  1.   这里看下第一个吧，其它可以自己跟着思维导图查看，或者下载思维导图——[ByteBuf源码之析][ByteBuf]。AbstractByteBuf继承自ByteBuf，一些公共属性和功能会体现这个类中，源码分析：
  3. 一，主要成员变量：
  5. 说明：1，读索引、写索引、mark、最大容量等公共属性；
  6.            2，leakDetector  为static，用于检测对象的是否泄漏；
  7.            3，将缓存区实现放到子类实现，让子类决定是基于堆内存还是直接内存。
  8. static final ResourceLeakDetector<ByteBuf> leakDetector = new ResourceLeakDetector<ByteBuf>(ByteBuf.class);
  10. int readerIndex;
  11. int writerIndex;
  12. private int markedReaderIndex;
  13. private int markedWriterIndex;
  15. private int maxCapacity;
  17. /**************************************************/
  20. 二，读操作簇:以readBytes(ByteBuf dst, int dstIndex, int length) 为例
  22. 1，方法：
  23. @Override
  24. public ByteBuf readBytes(ByteBuf dst, int dstIndex, int length) {
  25.     checkReadableBytes(length);
  26.     getBytes(readerIndex, dst, dstIndex, length);
  27.     readerIndex += length;
  28.     return this;
  29. }
  31. 2，对缓冲区可用空间的校验：
  32. /**
  33.  * Throws an {@link IndexOutOfBoundsException} if the current
  34.  * {@linkplain #readableBytes() readable bytes} of this buffer is less
  35.  * than the specified value.
  36.  */
  37. protected final void checkReadableBytes(int minimumReadableBytes) {
  38.     ensureAccessible();
  39.     if (minimumReadableBytes < 0) {
  40.         throw new IllegalArgumentException("minimumReadableBytes: " + minimumReadableBytes + " (expected: >= 0)");
  41.     }
  42.     if (readerIndex > writerIndex - minimumReadableBytes) {
  43.         throw new IndexOutOfBoundsException(String.format(
  44.                 "readerIndex(%d) + length(%d) exceeds writerIndex(%d): %s",
  45.                 readerIndex, minimumReadableBytes, writerIndex, this));
  46.     }
  47. }
  49. 3，校验通过后，调用getBytes方法，从当前读索引开始，复制length个字节到目标byte数组中。由子类实现，不同子类实现细节不同。
  50. 4，读索引增加
  52. /**************************************************/
  56. 三，写操作簇：以writeBytes(ByteBuf src, int srcIndex, int length)为例
  58. 1，方法：
  59. @Override
  60. public ByteBuf writeBytes(ByteBuf src, int srcIndex, int length) {
  61.     ensureAccessible();
  62.     ensureWritable(length);
  63.     setBytes(writerIndex, src, srcIndex, length);
  64.     writerIndex += length;
  65.     return this;
  66. }
  67. 1.1，写入字节数组的长度校验：
  68. @Override
  69. public ByteBuf ensureWritable(int minWritableBytes) {
  70.     if (minWritableBytes < 0) {
  71.         throw new IllegalArgumentException(String.format(
  72.                 "minWritableBytes: %d (expected: >= 0)", minWritableBytes));
  73.     }
  75.     if (minWritableBytes <= writableBytes()) {
  76.         return this;
  77.     }
  79.     if (minWritableBytes > maxCapacity - writerIndex) {
  80.         throw new IndexOutOfBoundsException(String.format(
  81.                 "writerIndex(%d) + minWritableBytes(%d) exceeds maxCapacity(%d): %s",
  82.                 writerIndex, minWritableBytes, maxCapacity, this));
  83.     }
  85.     // Normalize the current capacity to the power of 2.
  86.     int newCapacity = alloc().calculateNewCapacity(writerIndex + minWritableBytes, maxCapacity);
  88.     // Adjust to the new capacity.
  89.     capacity(newCapacity);
  90.     return this;
  91. }
  93. 1.1.1，如果当前写入数组长度大于可写字节数，则通过自身的动态扩展进行满足写需求。扩容方式：首先设置门限阈值threshold 4MB，如果=threshold直接返回，如果<threshold则以64进行倍增；如果>threshold则每次采用4MB扩张。
  94. @Override
  95. public int calculateNewCapacity(int minNewCapacity, int maxCapacity) {
  96.     if (minNewCapacity < 0) {
  97.         throw new IllegalArgumentException("minNewCapacity: " + minNewCapacity + " (expectd: 0+)");
  98.     }
  99.     if (minNewCapacity > maxCapacity) {
  100.         throw new IllegalArgumentException(String.format(
  101.                 "minNewCapacity: %d (expected: not greater than maxCapacity(%d)",
  102.                 minNewCapacity, maxCapacity));
  103.     }
  104.     final int threshold = 1048576 * 4; // 4 MiB page
  106.     if (minNewCapacity == threshold) {
  107.         return threshold;
  108.     }
  110.     // If over threshold, do not double but just increase by threshold.
  111.     if (minNewCapacity > threshold) {
  112.         int newCapacity = minNewCapacity / threshold * threshold;
  113.         if (newCapacity > maxCapacity - threshold) {
  114.             newCapacity = maxCapacity;
  115.         } else {
  116.             newCapacity += threshold;
  117.         }
  118.         return newCapacity;
  119.     }
  121.     // Not over threshold. Double up to 4 MiB, starting from 64.
  122.     int newCapacity = 64;
  123.     while (newCapacity < minNewCapacity) {
  124.         newCapacity <<= 1;
  125.     }
  127.     return Math.min(newCapacity, maxCapacity);
  128. }
  130. /**************************************************/
  134. 四，操作索引：
  136. 1，与索引相关主要涉及读写索引、mark、rest等，比较简单，看设置读索引方法：
  137. @Override
  138. public ByteBuf readerIndex(int readerIndex) {
  139.     if (readerIndex < 0 || readerIndex > writerIndex) {
  140.         throw new IndexOutOfBoundsException(String.format(
  141.                 "readerIndex: %d (expected: 0 <= readerIndex <= writerIndex(%d))", readerIndex, writerIndex));
  142.     }
  143.     this.readerIndex = readerIndex;
  144.     return this;
  145. }
  147. /**************************************************/
  151. 五，重用缓冲区：discardReadBytes
  153. 1,discardReadBytes方法：
  154. @Override
  155. public ByteBuf discardReadBytes() {
  156.     ensureAccessible();
  157.     if (readerIndex == 0) {
  158.         return this;
  159.     }
  161.     if (readerIndex != writerIndex) {
  162.         setBytes(0, this, readerIndex, writerIndex - readerIndex);
  163.         writerIndex -= readerIndex;
  164.         adjustMarkers(readerIndex);
  165.         readerIndex = 0;
  166.     } else {
  167.         adjustMarkers(readerIndex);
  168.         writerIndex = readerIndex = 0;
  169.     }
  170.     return this;
  171. }
  172. 1.1，adjustMarkers(readerIndex)方法设置markedReaderIndex和markedWriteIndex:
  173. protected final void adjustMarkers(int decrement) {
  174.     int markedReaderIndex = this.markedReaderIndex;
  175.     if (markedReaderIndex <= decrement) {
  176.         this.markedReaderIndex = 0;
  177.         int markedWriterIndex = this.markedWriterIndex;
  178.         if (markedWriterIndex <= decrement) {
  179.             this.markedWriterIndex = 0;
  180.         } else {
  181.             this.markedWriterIndex = markedWriterIndex - decrement;
  182.         }
  183.     } else {
  184.         this.markedReaderIndex = markedReaderIndex - decrement;
  185.         markedWriterIndex -= decrement;
  186.     }
  187. }
  189. /**************************************************/
  192. 六，skipBytes,丢弃或者跳跃不需要字节
  194. 1，看方法源码：
  195. @Override
  196. public ByteBuf skipBytes(int length) {
  197.     checkReadableBytes(length);
  198.     readerIndex += length;
  199.     return this;
  200. }
  202.    下边我们在来简单看下ButyBuf的几个重要的辅助类，其实都非常简单，为了更容易扩展，为了提供更多的基本功能，都是非常实用的，我们来看下简单说明：

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdWppYWhhbjYyOTYyOQ_size_16_color_FFFFFF_t_70 2

  1.    好，这样我么Netty的ByteBuf相关内容就学习完了，需要思考的是，作者对此的设计思路，实现方式，编码风格等，剩下就是我们多用多做多思考，来更进一步的理解了。接下来，Netty其它重要类源码的学习思考。。。欢迎大家多交流。
  3.    PS：思维导图下载地址：[ByteBuf源码分析][ByteBuf]。也可以到我的资源中进行下载。

发表评论

表情：
评论列表 （有 0 条评论，322人围观）

还没有评论，来说两句吧...

相关阅读

    相关 netty源码阅读之ByteBuf

    今天我们开启新的篇章，netty很重要的内存概念将在这一章介绍。ByteBuf主要介绍以下几点： 1、内存与内存管理器的抽象 2、不同规格大小和不同类别的内存的分配策略

    野性酷女野性酷女/ 0 赞/ 361 阅读