nginx源码解析(二)-内存池与内存管理ngx_pool_t

太过爱你忘了你带给我的痛 2022-07-13 14:12 190阅读 0赞

**ngx\_pool\_t**是一个非常重要的数据结构，在很多重要的场合都有使用，很多重要的数据结构也都在使用它。那么它究竟是一个什么东西呢？简单的说，它提供了一种机制，帮助管理一系列的资源（如内存，文件等），使得对这些资源的使用和释放统一进行，免除了使用过程中考虑到对各种各样资源的什么时候释放，是否遗漏了释放的担心。

例如对于内存的管理，如果我们需要使用内存，那么总是从一个**ngx\_pool\_t**的对象中获取内存，在最终的某个时刻，我们销毁这个ngx\_pool\_t对象，所有这些内存都被释放了。这样我们就不必要对对这些内存进行malloc和free的操作，不用担心是否某块被malloc出来的内存没有被释放。因为当ngx\_pool\_t对象被销毁的时候，所有从这个对象中分配出来的内存都会被统一释放掉。

注：笔者的nginx版本为1.10.1

# 一、数据结构定义 #

**ngx\_pool\_t**定义在**\[nginx源码目录\]/src/core/ngx\_palloc.h**以及**\[nginx源码目录\]/src/core/ngx\_palloc.c**，与之相关的头文件和源文件好包括**\[nginx源码目录\]/src/os/unix/ngx\_alloc.h**以及**ngx\_alloc.c**中。

struct ngx_pool_t {  //内存池的管理分配模块
        ngx_pool_data_t       d;	     //内存池的数据块
        size_t                max;       //数据块大小，可分配小块内存的最大值
        ngx_pool_t           *current;   //指向当前或本内存池，以后的内存分配从该指针指向的内存池中分配
        ngx_chain_t          *chain;     //该指针挂接一个ngx_chain_t结构
        ngx_pool_large_t     *large;     //指向大块内存分配，nginx中，大块内存分配直接采用标准系统接口malloc
        ngx_pool_cleanup_t   *cleanup;   //析构函数，挂载内存释放时需要清理资源的一些必要操作
        ngx_log_t            *log;       //内存分配相关的日志记录
    };

其中内存池的数据块ngx\_pool\_data\_t的数据结构定义如下：

typedef struct {	//内存池的数据结构模块
        u_char               *last;    //当前内存分配结束位置，即下一段可分配内存的起始位置
        u_char               *end;     //内存池的结束位置
        ngx_pool_t           *next;    //链接到下一个内存池，内存池的很多块内存就是通过该指针连成链表的
        ngx_uint_t            failed;  //记录内存分配不能满足需求的失败次数
    } ngx_pool_data_t;   //结构用来维护内存池的数据块

还有一个很重要的大块内存分配数据结构模块定义：

struct ngx_pool_large_t {
        ngx_pool_large_t     *next;  //指向下一个大内存块
        void                 *alloc; //实际利用malloc分配得到的内存的首地址
    };

大致数据结构图示如下：

![20170112133843096][]

# 二、内存管理解析 #

## 内存的创建、销毁和重置  2.1 创建内存块 ##

ngx_pool_t *
    ngx_create_pool(size_t size, ngx_log_t *log)
    {
        ngx_pool_t  *p;
    
        p = ngx_memalign(NGX_POOL_ALIGNMENT, size, log);  //ngx_memlign定义在ngx_alloc.h中，主要用于分配16字节边界对其的的内存块，返回指向该内存块的指针
        if (p == NULL) {                                    //NGC_POOL_ALIGNMENT定义为16
            return NULL;
        }
    
        p->d.last = (u_char *) p + sizeof(ngx_pool_t);  //d.last指向当前已经分配的内存的末端地址，即下一个可以分配内存的首地址
        p->d.end = (u_char *) p + size;                 //指向当前内存池地址的末尾
        p->d.next = NULL;
        p->d.failed = 0;
    
        size = size - sizeof(ngx_pool_t);
        p->max = (size < NGX_MAX_ALLOC_FROM_POOL) ? size : NGX_MAX_ALLOC_FROM_POOL;  //NGC_MAX_ALLOC_FROM_POOL最大不超过4095B
    
        p->current = p;      //初始化指向当前从内存中取得的内存块的首地址
        p->chain = NULL;
        p->large = NULL;    //创建内存池时，并没有需要很大内存块，所以为空
        p->cleanup = NULL;
        p->log = log;
    
        return p;
    }

**ngx\_memalign函数定义如下：**

void *
    ngx_memalign(size_t alignment, size_t size, ngx_log_t *log)
    {
        void  *p;
    
        p = memalign(alignment, size);
        if (p == NULL) {
            ngx_log_error(NGX_LOG_EMERG, log, ngx_errno,
                          "memalign(%uz, %uz) failed", alignment, size);
        }
    
        ngx_log_debug3(NGX_LOG_DEBUG_ALLOC, log, 0,
                       "memalign: %p:%uz @%uz", p, size, alignment);
    
        return p;
    }

例如在Linux（Ubantu14.04 64位）系统上申请大小为1024Bytes的内存池：最后结果如下：

![20170112135931591][]

## 2.2 内存池销毁 ##

void
    ngx_destroy_pool(ngx_pool_t *pool)
    {
        ngx_pool_t          *p, *n;
        ngx_pool_large_t    *l;
        ngx_pool_cleanup_t  *c;
    	
        for (c = pool->cleanup; c; c = c->next) {
            if (c->handler) {
                ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0,
    				"run cleanup: %p", c);
                c->handler(c->data);
            }
        }
    	//cleanup指向析构函数，用于执行相关的内存池销毁之前的清理工作，如文件的关闭等，
    	//清理函数是一个handler的函数指针挂载。因此，在这部分，对内存池中的析构函数遍历调用。
    	
        for (l = pool->large; l; l = l->next) {
            ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0, "free: %p", l->alloc);
    		
            if (l->alloc) {
                ngx_free(l->alloc);
            }
        }
    	//这一部分用于清理大块内存，ngx_free实际上就是标准的free函数，
    	//即大内存块就是通过malloc和free操作进行管理的。
    	
    #if (NGX_DEBUG)
    	
        /**
    	* we could allocate the pool->log from this pool
    	* so we can not use this log while the free()ing the pool
    	*/
    	
        for (p = pool, n = pool->d.next; /** void */; p = n, n = n->d.next) {
            ngx_log_debug2(NGX_LOG_DEBUG_ALLOC, pool->log, 0,
    			"free: %p, unused: %uz", p, p->d.end - p->d.last);
    		
            if (n == NULL) {
                break;
            }
        }
    	//只有debug模式才会执行这个片段的代码，主要是log记录，用以跟踪函数销毁时日志记录。
    #endif
    	
        for (p = pool, n = pool->d.next; /** void */; p = n, n = n->d.next) {
            ngx_free(p);
    		
            if (n == NULL) {
                break;
            }
        }
    }
    //该片段彻底销毁内存池本身。内存池是又多个链表相连接，d.next指向下一个内存池

## 2.3 重置内存块 ##

void
    ngx_reset_pool(ngx_pool_t *pool)  //重置poo内存池，使得pool内存池回归初始状态
    {
        ngx_pool_t        *p;
        ngx_pool_large_t  *l;
    
        for (l = pool->large; l; l = l->next) {
            if (l->alloc) {
                ngx_free(l->alloc);           //释放所有大内存块
            }
        }
    
        for (p = pool; p; p = p->d.next) {
            p->d.last = (u_char *) p + sizeof(ngx_pool_t);  //使得last指向ngx_pool_t后的内存地址
            p->d.failed = 0;
        }
    
        pool->current = pool;
        pool->chain = NULL;
        pool->large = NULL;
    }

## 从内存池中分配内存 ##

从内存池中取得size大小的内存主要通过**ngx\_palloc**以及**ngx\_pnalloc**，两者的区别是，前者从内存池中取得**NGX\_ALIGNMENT**字节对其的内陈块，而后者不考虑字节对其，**NGX\_ALIGNMENT**定义在**ngx\_config.h**中：

#ifndef NGX_ALIGNMENT
    #define NGX_ALIGNMENT   sizeof(unsigned long)    /* platform word */
    #endif

以ngx\_palloc分析：

void *
    ngx_palloc(ngx_pool_t *pool, size_t size)
    {
    #if !(NGX_DEBUG_PALLOC)
        if (size <= pool->max) {    //若需要分配的内存大小大于内存池中的可分配内存，直接调用ngx_palloc_large分配，否则调用ngx_palloc_small分配，1代表直接对齐
            return ngx_palloc_small(pool, size, 1);
        }
    #endif
    
        return ngx_palloc_large(pool, size);
    }

**调用的ngx\_palloc\_small实现如下：**

static ngx_inline void *
    ngx_palloc_small(ngx_pool_t *pool, size_t size, ngx_uint_t align)
    {
        u_char      *m;
        ngx_pool_t  *p;
    
        p = pool->current;
      
        do {
            m = p->d.last;
            //执行对齐操作，  
            //即以last开始，计算以NGX_ALIGNMENT对齐的偏移位置指针，  
            if (align) {
                m = ngx_align_ptr(m, NGX_ALIGNMENT);
            }
             
            //然后计算end值减去这个偏移指针位置的大小是否满足索要分配的size大小，  
             //如果满足，则移动last指针位置，并返回所分配到的内存地址的起始地址；  
            if ((size_t) (p->d.end - m) >= size) {
                p->d.last = m + size;
    
                return m;
            }
             //如果不满足，则查找下一个内存池。  
            p = p->d.next;
    
        } while (p);
        //如果遍历完整个内存池链表均未找到合适大小的内存块供分配，则执行ngx_palloc_block()来分配。  
                  
        //ngx_palloc_block()函数为该内存池再分配一个block，该block的大小为链表中前面每一个block大小的值。  
        //一个内存池是由多个block链接起来的。分配成功后，将该block链入该poll链的最后，  
        //同时，为所要分配的size大小的内存进行分配，并返回分配内存的起始地址。  
        return ngx_palloc_block(pool, size);
    }

当需要进行ngx\_palloc\_block进行小内存分块时， **ngx\_palloc\_block定义如下：**

*  **ngx\_palloc\_block分配的可分配内存大小和pool指向的可分配内存大小一样**
 *  **该函数分配一块内存后，last指针指向的是ngx\_pool\_data\_t结构体(大小16B)之后数据区的起始位置，而创建内存池时时，last指针指向的是ngx\_pool\_t结构体(大小40B)之后数据区的起始位置。**

static void *
    ngx_palloc_block(ngx_pool_t *pool, size_t size)
    {
        u_char      *m;
        size_t       psize;
        ngx_pool_t  *p, *new, *current;
    	
        psize = (size_t) (pool->d.end - (u_char *) pool);
    	//计算pool的大小，即需要分配的block的大小
    	
    	m = ngx_memalign(NGX_POOL_ALIGNMENT, psize, pool->log);
    	if (m == NULL) {
    		return NULL;
    	}
    	//执行按NGX_POOL_ALIGNMENT对齐方式的内存分配，假设能够分配成功，则继续执行后续代码片段。
    	
    	//这里计算需要分配的block的大小
        new = (ngx_pool_t *) m;
    	
        new->d.end = m + psize;
        new->d.next = NULL;
        new->d.failed = 0;
    	//执行该block相关的初始化。
    	
        m += sizeof(ngx_pool_data_t);
    	//让m指向该块内存ngx_pool_data_t结构体之后数据区起始位置
        m = ngx_align_ptr(m, NGX_ALIGNMENT);
        new->d.last = m + size;
    	//在数据区分配size大小的内存并设置last指针
    	
        current = pool->current;
    	
        for (p = current; p->d.next; p = p->d.next) {
            if (p->d.failed++ > 4) {
                current = p->d.next;
    			//失败4次以上移动current指针
            }
        }
    	
        p->d.next = new;
    	//将分配的block链入内存池
    	
        pool->current = current ? current : new;
    	//如果是第一次为内存池分配block，这current将指向新分配的block。
    	
        return m;
    }

当请求的内存分配大小size大于当前内存池的可分配内存时（由于内存池是一个链表，随着不断地申请内存，current的指针会指向不同的内存池首地址），此时会调用ngx\_palloc\_large **,ngx\_palloc\_large实现如下：**

//这个函数在头文件里面并没有明确声明出来，而是在源文件中定义
    //即nginx在进行内存分配需求时，不会自行去判断是否是大块内存还是小块内存，
    //而是交由内存分配函数去判断，对于用户需求来说是完全透明的。
    static void *
    ngx_palloc_large(ngx_pool_t *pool, size_t size)
    {
        void              *p;
        ngx_uint_t         n;
        ngx_pool_large_t  *large;
    	
        p = ngx_alloc(size, pool->log);  //下文紧接着将分析此ngx_alloc函数
        if (p == NULL) {
            return NULL;
        }
    	
        n = 0;
    	
    	//以下几行，将分配的内存链入pool的large链中，
    	//这里指原始pool在之前已经分配过large内存的情况。
        for (large = pool->large; large; large = large->next) {
            if (large->alloc == NULL) {
                large->alloc = p;
                return p;
            }
    		
            if (n++ > 3) {
                break;
            }
        }
    	
    	//如果该pool之前并未分配large内存，则就没有ngx_pool_large_t来管理大块内存
    	//执行ngx_pool_large_t结构体的分配，用于来管理large内存块。ngx_pool_large_t所需内存依然遵循从内存池中取所需内存的原则
        large = ngx_palloc(pool, sizeof(ngx_pool_large_t));
        if (large == NULL) {
            ngx_free(p);
            return NULL;
        }
    	
        large->alloc = p;
        large->next = pool->large;
        pool->large = large;
    	
        return p;
    }

其中，ngx\_alloc定义在文件src/os/unix/ngx\_alloc.c中：

void *
    ngx_alloc(size_t size, ngx_log_t *log)
    {
        void  *p;
    
        p = malloc(size);
        if (p == NULL) {
            ngx_log_error(NGX_LOG_EMERG, log, ngx_errno,
                          "malloc(%uz) failed", size);
        }
    
        ngx_log_debug2(NGX_LOG_DEBUG_ALLOC, log, 0, "malloc: %p:%uz", p, size);
    
        return p;
    }

由此完成了内存的分配。

随后是内存的释放过程：通过调用ngx\_destroy\_pool对内存池的所有内存进行统一的释放，避免了内存泄露的可能。

三、案例分析

下面以一个案例简单的分析内存池分配内存的过程：

整个示例代码如下：

/** 
         * ngx_pool_t test, to test ngx_palloc, ngx_palloc_block, ngx_palloc_large 
         */  
          
    #include <stdio.h>  
    #include "ngx_config.h"  
    #include "ngx_conf_file.h"  
    #include "nginx.h"  
    #include "ngx_core.h"  
    #include "ngx_string.h"  
    #include "ngx_palloc.h"  
    
    void dump_pool(ngx_pool_t* pool)  
    {  
        while (pool)  
        {  
            printf("pool = 0x%x\n", pool);  
            printf("\t.d = 0x%x\n",&pool->d);  
            printf("\t.last = 0x%x\n", pool->d.last);  
            printf("\t.end = 0x%x\n", pool->d.end);  
            printf("\t.next = 0x%x\n", pool->d.next);  
            printf("\t.failed = %d\n", pool->d.failed);  
            printf("\t.max = %d\n", pool->max);  
            printf("\t.current = 0x%x\n", pool->current);  
            printf("\t.chain = 0x%x\n", pool->chain);  
            printf("\t.large = 0x%x\n", pool->large);  
            printf("\t.cleanup = 0x%x\n", pool->cleanup);  
            printf("\t.log = 0x%x\n", pool->log);  
            printf("available pool memory = %d\n\n", pool->d.end - pool->d.last);  
            pool = pool->d.next;  
        }  
    }  
      
    int main()  
    {  
        ngx_pool_t *pool; 
        printf("--------------------------------\n"); 
        printf("the size of ngx_pool_t is:%d,and the size of intptr_t is:%d\n",sizeof(ngx_pool_t),sizeof(intptr_t));
        printf("--------------------------------\n"); 
        printf("the size of size_t is:%d\n",sizeof(size_t));
        printf("--------------------------------\n");  
        printf("create a new pool:\n");  
        printf("--------------------------------\n");  
        pool = ngx_create_pool(1024, NULL);  
        dump_pool(pool);  
      
        printf("--------------------------------\n");  
        printf("alloc block 1 from the pool:\n");  
        printf("--------------------------------\n");  
        ngx_palloc(pool, 1024);  
        dump_pool(pool);  
      
        printf("--------------------------------\n");  
        printf("alloc block 2 from the pool:\n");  
        printf("--------------------------------\n");  
        ngx_palloc(pool, 1024);  
        dump_pool(pool);  
      
        printf("--------------------------------\n");  
        printf("alloc block 3 from the pool :\n");  
        printf("--------------------------------\n");  
        ngx_palloc(pool, 512);  
        dump_pool(pool);  
      
    	ngx_pool_large_t *p;
    	p=pool->large;
    	int i=1;
    	while(p)
    	{
    		printf("%dth large block address is:0x%x\n",i,p);
    		++i;
    		p=p->next;
    	}
    
        ngx_destroy_pool(pool);  
        return 0;  
        }

**1、首先创建内存池**：

pool = ngx_create_pool(1024, NULL);

![20170112135931591][]

**2、随着向内存池中申请1024Bytes数据，由于当前可分配内存为944Bytes，所以需要调用ngx\_palloc\_large取得所需内存：**

![20170112145014427][]

**图示如下**：

![20170112145040708][]

3、再往内存池中申请1024Bytes数据：

![20170112145257262][]

**4、从内存池中申请512Bytes内存，由于512Bytes小于当前可分配内存912Bytes,因此调用ngx\_palloc\_small进行内存分配**

![20170112145515313][]

[20170112133843096]: /images/20220713/5e036fb7d9b141d2a584b4ca347532ad.png
[20170112135931591]: /images/20220713/bb0df6c2a78347698d90d999589f2202.png
[20170112145014427]: /images/20220713/f3b97be5a380431dad32103b86f7d600.png
[20170112145040708]: /images/20220713/b8b5daf203fc49edb02f5af0bb5a9260.png
[20170112145257262]: /images/20220713/90d3bd3490204d328b90c6742deb041e.png
[20170112145515313]: /images/20220713/916efa52786247fa9f83c54b153a6b44.png