在应用程序中替换Linux中Glibc的malloc的四种方法

Myth丶恋晨 2022-03-10 07:27 334阅读 0赞

#     #

打算优化系统的内存分配，接管glibc提供的内存管理，但是整个工程的代码量很大，使用malloc、realloc、calloc和free的地方到处都是，如果自己写好的接口需要重命名所有的调用，先不说工作量，部分没有权限查看代码的.a文件就搞不定了。所以需要替换掉系统的malloc，保证原有调用的名称不变。经过尝试，共有四种方法可以替换，各有优缺点吧。

方案1 使用环境变量LD\_PRELOAD  
  
         环境变量LD\_PRELOAD指定程序运行时优先加载的动态连接库，这个动态链接库中的符号优先级是最高的。标准C的各种函数都是存放在libc.so.6的文件中，在程序运行时自动链接。使用LD\_PRELOAD后，自己编写的malloc的加载顺序高于glibc中的malloc，这样就实现了替换。用法：  
  
             \[littlefang\]$ LD\_PRELOAD=" ./mymalloc.so"  
  
         这是最实用的替换方法，动态链接库加载过程中提供了初始化函数，可以轻易的获得系统malloc的句柄，再将它做进一步的管理，Hoard（参见深入Linux的内存管理，关于PTMalloc3、Hoard和TCMalloc）的就是这样实现的。  
  
方案2  malloc调试变量  
  
         \_\_malloc\_hook是一组glibc提供的malloc调试变量中的一个，这组变量包括：  
  
\[cpp:nogutter\] view plaincopyprint?  
  
    void \*(\*\_\_malloc\_hook)(size\_t size, const void \*caller);     
        
    void \*(\*\_\_realloc\_hook)(void \*ptr, size\_t size, const void \*caller);     
        
    void \*(\*\_\_memalign\_hook)(size\_t alignment, size\_t size, const void \*caller);     
        
    void (\*\_\_free\_hook)(void \*ptr, const void \*caller);     
        
    void (\*\_\_malloc\_initialize\_hook)(void);     
        
    void (\*\_\_after\_morecore\_hook)(void);    
  
只要你在程序中写上”\_\_malloc\_hook = my\_malloc\_hook;”，之后的malloc调用都会使用my\_malloc\_hook函数，方便易行。但是这组调试变量不是线程安全的，当你想用系统malloc的时候不得不把他们改回来，多线程调用就得上锁了。因此方案2不很适用于系统内存优化，勉强用来简单管理线程内存使用。  
  
         详细用法请猛击这里  
  
方案3 编译自己的libmalloc.a  
  
         关于重载glibc的malloc库，ChinaUnix上有这样的讨论：  
  
    如果我用cc -o myprog myprog.c -lmylib， 而不想修改缺省的ld的命令行参数或者linker脚本，不知可不可以？  
  
这个方法确实比较理想，只需要make一次就OK了，不用更改环境变量，省得担心后台运行的问题。后面有人回复让楼主试试，不知道楼主试了没有，我试了一下。  
  
若要把系统内存管理起来，首先还是要向操作系统申请内存，这个问题对于LD\_PRELOAD方案很简单，链接库加载时就可以把glibc中的malloc加载进来，以后直接调用就可以了，如：  
  
real\_malloc = dlsym(RTLD\_NEXT, "malloc");  
  
但是你如果使用自己编译的malloc库，在你调用dlsym这个函数时，dlsym会调用dlerror，dlerror会调用calloc，calloc要调用malloc，而你的malloc正在初始化等待dlsym返回中，于是死循环了。有人说，在调用没有初始化完毕的malloc时，返回NULL，我试了dlsym不认账，加载可耻的失败了。在满世界的寻找dlsym的替代品未果后，我把目光瞄住了tcmalloc（参见深入Linux的内存管理，关于PTMalloc3、Hoard和TCMalloc）。Tcmalloc使用时需要在链接时加上-ltcmalloc即可，它代码里也没使用dlsym，大略了看了下它的代码，它使用mmap从系统获取的内存。  
  
void \*mmap(void \*addr, size\_t len, int prot, int flags, int fildes, off\_t off);  
  
这种方法从页面级就要对系统内存进行管理，Glibc中的malloc就是使用mmap和brk两个函数从程序堆中获得内存的。无疑，这比起用malloc分配的内存复杂了很多。  
  
方案4 链接过程控制  
  
ld中有一个选项 –wrap，当查找某个符号时，它优先先解析\_\_wrap\_symbol,　解析不到才去解析symbol。例如：  
  
\[cpp:nogutter\] view plaincopyprint?  
  
    void \*\_\_wrap\_malloc (size\_t c)    
        
    \{    
        
         printf ("malloc called with %zu/n", c);    
        
         return \_\_real\_malloc (c);    
        
    \}    
  
当其它文件与你实现\_\_wrap\_malloc函数的文件链接时使用--wrap malloc ，则所有到malloc的调用都是会链接到\_\_wrap\_malloc上。只有调用\_\_reall\_malloc时才会调用真正的malloc。  
  
\[cpp:nogutter\] view plaincopyprint?  
  
    \#include <stdio.h>    
        
    \#include <stdlib.h>    
  
    void \*\_\_real\_malloc(size\_t);    
  
    void \*\_\_wrap\_malloc(size\_t c)    
        
    \{    
        
            printf("My MALLOC called: %d/n", c);    
        
            return \_\_real\_malloc(c);    
        
    \}    
        
    int main (int argc, char \*argv\[\])    
        
    \{    
  
            void \*ptr = malloc(12);    
  
            return 0;    
        
    \}    
  
编译   
  
    \[littlefang\]$ gcc wrap.c -o wrap -Wl,-wrap,malloc  
  
运行   
  
    \[littlefang\]$ ./wrap  
  
    My MALLOC called: 12  
  
Gcc或g++编译使用 –Wl选项，以指定链接器参数，比如同时替换malloc,free，realloc就要用  
  
gcc wrap.c -o wrap -Wl,-wrap,malloc  -Wl,-wrap,free  -Wl,-wrap,realloc。  
  
特别需要注意的是，如果你的\_\_wrap\_malloc是用C++实现的，千万不要忘记加上extern “C”做修饰，不然会出现"undefine reference to \_\_wrap\_malloc"。