dlmalloc解析连载一

淩亂°似流年 2022-08-06 05:12 166阅读 0赞

<table style="width: 100%; border-collapse: collapse; word-wrap: break-word;"> 
 <tbody> 
  <tr> 
   <td align="center">&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td align="center"> 
    <table style="width: 100%; border-collapse: collapse; word-wrap: break-word;"> 
     <tbody> 
      <tr> 
       <td> 
        <div style="margin: 15px;"> 
         <div>
           dlmalloc是目前一个十分流行的内存分配器，其由Doug Lea（主页为 
          <a href="http://gee.cs.oswego.edu/" rel="nofollow">http://gee.cs.oswego.edu/</a>）从1987年开始编写，到目前为止，最新版本为2.8.3（可以从 
          <a href="ftp://g.oswego.edu/pub/misc/malloc.c" rel="nofollow">ftp://g.oswego.edu/pub/misc/malloc.c</a>获取），由于其高效率等特点被广泛的使用（比如一些linux系统等用的就是dlmalloc或其变形，比如ptmalloc，主页为 
          <a href="http://www.malloc.de/en/index.html" rel="nofollow">http://www.malloc.de/en/index.html</a>）和研究（各位可以搜索关键字“GCspy”）。 
          <br>dlmalloc的实现只有一个源文件（还有一个头文件），大概5000行，其内注释占了大量篇幅，由于有这么多注释存在的情况下，表面上看上去很容易懂，的确如此，在不追求细节的情况，对其大致思想的确很容易了解（没错，就只是了解而已），但是dlmalloc作为一个高品质的佳作，实现上使用了非常多的技巧，在实现细节上不花费一定的精力是没有办法深入理解其为什么这么做，这么做的好处在哪，只有当真正读懂后回味起来才发现它是如此美妙。 
          <br>lenky0401个人博客将陆续推出对dlmalloc的解析（针对Doug Lea Malloc的最新版Version 2.8.3，未做说明的情况下以32位平台，8字节对齐作为假定平台环境设置考虑），由于个人水平有限，因此也不能完全保证对dlmalloc的所有理解都准备无误, 但是所有内容均出自个人的理解而并非存心妄自揣测来愚人耳目，所以如果读者发现其中有什么错误，请勿见怪，如果可以则请来信告之，并欢迎来信讨论（ 
          <a href="mailto:lenky0401@163.com" rel="nofollow">lenky0401@163.com</a>）。 
          <br>描述的内容不会包含dlmalloc全部代码，但会将这其中涉及到的一些技巧尽量讲出，我相信对dlmalloc源代码不感兴趣的朋友也可以学到这些独立的技巧而使用在自己的编程实践中。:) 
          <br>最后，转载请保留本博客地址连接[http://lenky0401.cublog.cn]，谢谢。 
          <br>=========================================================== 
         </div> 
         <div>
           &nbsp; 
         </div> 
         <div>
           Dlmalloc将内存分成很多块，并且采用所谓的边界标记法对内存进行管理，在Dlmalloc的实现源码中定义了两种结构体malloc_chunk和malloc_tree_chunk，从它们的定义中可以看到结构体malloc_tree_chunk除了比malloc_chunk多三个字段以外，前四个字段和malloc_chunk完全一样。这两种结构体主要用于对内存块按大小进行不同的管理。 
          <br>struct malloc_chunk { 
          <br>&nbsp; size_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; prev_foot;&nbsp; /* Size of previous chunk (if free).&nbsp; */ 
          <br>&nbsp; size_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; head;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /* Size and inuse bits. */ 
          <br>&nbsp; struct malloc_chunk* fd;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /* double links -- used only if free. */ 
          <br>&nbsp; struct malloc_chunk* bk; 
          <br>}; 
          <br>typedef struct malloc_chunk&nbsp; mchunk; 
          <br>typedef struct malloc_chunk* mchunkptr; 
          <br>typedef struct malloc_chunk* sbinptr;&nbsp; /* The type of bins of chunks */ 
         </div> 
         <div>
           struct malloc_tree_chunk { 
          <br>&nbsp; /* The first four fields must be compatible with malloc_chunk */ 
          <br>&nbsp; size_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; prev_foot; 
          <br>&nbsp; size_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; head; 
          <br>&nbsp; struct malloc_tree_chunk* fd; 
          <br>&nbsp; struct malloc_tree_chunk* bk; 
         </div> 
         <div>
           &nbsp; struct malloc_tree_chunk* child[2]; 
          <br>&nbsp; struct malloc_tree_chunk* parent; 
          <br>&nbsp; bindex_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; index; 
          <br>}; 
         </div> 
         <div> 
          <br>我们先来看看只考虑使用结构体malloc_chunk管理内存的情况（内存都被分为小块，32位机器上即是256字节以下，而对于结构体malloc_tree_chunk，其管理的是大块，32位机器上即是256字节以上）： 
         </div> 
         <div> 
          <div> 
           <img src="http://blogimg.chinaunix.net/blog/upfile2/090520183232.jpg" alt=""> 
          </div> 
         </div> 
         <div> 
          <br>按照边界标记法，结构体malloc_chunk通过字段head和prev_foot将内存分割成很多块，从图中①所示，可以看到某结构体内的prev_foot是记录的前一个chunk块的信息（事实上是前一个chunk块的大小），因此我们可以利用如下宏： 
          <br>#define prev_chunk(p) ((mchunkptr)( ((char*)(p)) - ((p)-&gt;prev_foot) )) 
          <br>来获得前一个chunk块的malloc_chunk结构体指针。 
         </div> 
         <div>
           指针fd、bk只有当该chunk块空闲时才存在，其作用时用于加入到空闲chunk块链中统一管理，而如果该chunk块被分配给应用程序使用，那么这两个指针也就没有用（该已经chunk块从空闲链中拆出）了，所以也当作应用程序的使用空间，而不至于浪费，图中②所示。 
          <br>head字段记录与本chunk块的相关信息，这包括本chunk块大小，本块是否在使用中，前一chunk块是否在使用中。 
          <br>head一个字段就能存储这么多信息是因为Dlmalloc在分割内存的时候总是以地址对齐（默认是8字节，可以自由设置，但是8字节是最小值并且设置的值必须是2为底的幂函数值，即是alignment = 2^n，n为整数且n&gt;=3）的方式来进行的，所以用head来存储本chunk块大小字节数的话，其末3bit位总是0，因此这三位可以用来存储其它信息，比如： 
          <br>以第0位作为标志位，标记前一chunk块是否在使用中，为1表示使用，为0表示空闲。 
          <br>以第1位作为标志位，标记本chunk块是否在使用中，为1表示使用，为0表示空闲。 
         </div> 
         <div>
           我们来看看它们的各自相关判断代码： 
          <br>#define SIZE_T_ONE&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ((size_t)1) 
          <br>#define SIZE_T_TWO&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ((size_t)2) 
          <br>#define PINUSE_BIT&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (SIZE_T_ONE) 
          <br>#define CINUSE_BIT&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (SIZE_T_TWO) 
          <br>#define cinuse(p)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ((p)-&gt;head &amp; CINUSE_BIT) 
          <br>#define pinuse(p)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ((p)-&gt;head &amp; PINUSE_BIT) 
         </div> 
         <div>
           对于前面说的prev_foot字段，也利用了其一个空闲位用于标记该chunk块是否右mmap分配，于此类似，所以就不多说了，感兴趣的可以查看源码。 
         </div> 
         <div>
           对于结构体malloc_tree_chunk，其实在内存分割上合结构体malloc_chunk完全一致，因为它们的前四个字段完全一样（事实上只有两个字段prev_foot和head起边界标记作用），其它的字段都是用于空闲链管理的。 
         </div> 
         <div>
           本篇简单的把Dlmalloc如果按照边界标记法分割内存描述了一下，下篇继续两种空闲链的各自管理分析。 
          <br> 
         </div> 
        </div> </td> 
      </tr> 
     </tbody> 
    </table> </td> 
  </tr> 
 </tbody> 
</table>