Oprofile的安装与使用

待我称王封你为后i 2022-08-09 09:15 27阅读 0赞

转载地址：[http://lenky.info/2012/03/26/oprofile%e7%9a%84%e5%ae%89%e8%a3%85%e4%b8%8e%e4%bd%bf%e7%94%a8/][http_lenky.info_2012_03_26_oprofile_e7_9a_84_e5_ae_89_e8_a3_85_e4_b8_8e_e4_bd_bf_e7_94_a8]

0.引言  
基于DPDK的发包工具的性能今天已经达到双向1900Wpps了，比昨天又高了200Wpps，正是得益于[oProfile][]检测与[调优][Link 1]的结果，而且今天还只是很简单的用了一下（类似于下面的示例），跟踪出对几个结构体字段的访问比较缓慢，于是对[结构体字段进行了仔细的顺序调整与Cache对齐][Cache]（之前急于功能实现，没顾及这些字段的排布），结果性能马上飙升了200Wpps，开心死我了。后天（明天外出办理其它事情）到公司再利用oProfile细细跟踪一下，特别是cache命中、 pipeline阻塞、prefetch预取等，看最终我的发包工具到底能达到什么性能。oProfile很久以前就使用过，亏今晚请假得空再整理一把以作备忘，好工具要恰时使用才算是适得其所，否则岂不有负提供如此佳具的大牛&工程师们。

1.概述  
oProfile是用于Linux的若干种评测和性能监控工具中的一种，它可以工作在不同的体系结构上，包括MIPS、ARM、IA32、IA64和AMD。oProfile包含在Linux2.5和更高版本的内核中，也包含在大多数较新的Linux版本中，包括RedHat9。  
oProfile是Linux平台上的一个功能强大的性能分析工具，支持两种采样(sampling)方式：基于事件的采样(eventbased)和基于时间的采样(timebased)。  
基于事件的采样是oProfile只记录特定事件（比如L2 cache miss）的发生次数，当达到用户设定的定值时oProfile就记录一下（采一个样）。这种方式需要CPU内部有性能计数器(performace counter)。  
基于时间的采样是oProfile借助OS时钟中断的机制，每个时钟中断oProfile都会记录一次(采一次样），引入此种采样方式的目的在于提供对没有性能计数器的CPU的支持，其精度相对于基于事件的采样要低。因为要借助OS时钟中断的支持，对禁用中断的代码oProfile不能对其进行分析。  
oProfile在Linux上分两部分，一个是内核模块(oprofile.ko)，一个为用户空间的守护进程(oprofiled)。前者负责访问性能计数器或者注册基于时间采样的函数(使用register\_timer\_hook注册之，使时钟中断处理程序最后执行profile\_tick时可以访问之)，并采样置于内核的缓冲区内。后者在后台运行，负责从内核空间收集数据，写入文件。

2.注意事项  
1) 不建议在虚拟机里利用oProfile来测试性能，因为虚拟机对oProfile的支持并不好，比如在Vmware虚拟机里不支持性能计数器接口模式：[http://oprofile.sourceforge.net/faq/][http_oprofile.sourceforge.net_faq]，中断模式的设置为：

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> </td> 
   <td> 
    <div> 
     <div>
       # modprobe oprofile timer=1 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

或

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> </td> 
   <td> 
    <div> 
     <div>
       # echo "options oprofile timer=1" &gt;&gt; /etc/modprobe.conf 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

具体参看：[http://oprofile.sourceforge.net/doc/detailed-parameters.html\#timer][http_oprofile.sourceforge.net_doc_detailed-parameters.html_timer]  
2) 调式的内核最好是原生内核（Vanilla kernel、香草内核），发行版Linux（比如redhat）自带的内核一般都是经过大量修改的，对oProfile的支持不好。所以，我们最好能从kernel官方网站下载原生源码后自行编译生成新内核，重启机器进行新内核环境后进行[性能测试][Link 2]。另外，oProfile需要的是未经压缩的内核镜像，所以/boot目录的vmlinuz-2.x.xx是不能使用的，而需要使用Linux源码编译目录里的未镜像文件，比如/usr/src/linux-2.6.30/vmlinux  
3) 内核需打开OPROFILE选项，否则无法运行oProfile：

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> </td> 
   <td> 
    <div> 
     <div>
       [root@localhost oprofile-0.9.6]# opcontrol --init 
     </div> 
     <div>
       FATAL: Module oprofile not found. 
     </div> 
     <div>
       FATAL: Module oprofile not found. 
     </div> 
     <div>
       Kernel doesn't support oprofile 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

需要编辑内核配置文件：

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> </td> 
   <td> 
    <div> 
     <div>
       [root@localhost ~]# cd /usr/src/linux-2.6.37.2 
     </div> 
     <div>
       [root@localhost linux-2.6.37.2]# vi .config 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

将其中的\# CONFIG\_OPROFILE is not set改为CONFIG\_OPROFILE=m（或者y）  
同时也应确保另外几个配置选项被选中：

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> </td> 
   <td> 
    <div> 
     <div>
       CONFIG_PROFILING=y 
     </div> 
     <div>
       CONFIG_X86_LOCAL_APIC=y 
     </div> 
     <div>
       CONFIG_X86_IO_APIC=y 
     </div> 
     <div>
       CONFIG_PCI_IOAPIC=y 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

然后编译内核重启机器即可。  
4) 为了支持新的CPU类型，oProfile的更新会比较频繁，所以在使用oProfile时建议先去http://oprofile.sourceforge.net/news/看看是否有更新版本。

3.系统环境  
此本中所有关于oProfile的介绍、测试均在CENTOS 5.4环境下进行，具体如下：

4.oProfile的安装  
oProfile的安装同普通Linux软件安装没有什么两样，照例是configure、make、make install三板斧。由于oProfile依赖的库比较多，如果系统中没有安装某些库则在configure时会给出错误提示，比如当我输入如下命令敲回车后提示：

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> </td> 
   <td> 
    <div> 
     <div>
       [root@lenky oprofile-0.9.6]# ./configure --with-kernel-support 
     </div> 
     <div>
       … 
     </div> 
     <div>
       checking libiberty.h usability... no 
     </div> 
     <div>
       checking libiberty.h presence... no 
     </div> 
     <div>
       checking for libiberty.h... no 
     </div> 
     <div>
       checking for cplus_demangle in -liberty... no 
     </div> 
     <div>
       configure: error: liberty library not found 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

解决该问题的方法是首先从网站[http://ftp.gnu.org/gnu/binutils/?C=M;O=D][http_ftp.gnu.org_gnu_binutils_C_M_O_D]下载binutils包编译安装即可（同样是./configure 、make、make install）。  
再configureoProfile：

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> </td> 
   <td> 
    <div> 
     <div>
       [root@localhost oprofile-0.9.7]# ./configure --with-kernel-support 
     </div> 
     <div>
       … 
     </div> 
     <div>
       config.status: executing libtool commands 
     </div> 
     <div>
       Warning: QT version 3 was requested but not found. No GUI will be built. 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

提示没有图形界面，不用管它，直接make编译，我还遇到了这个make错误：

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> 
    <div>
      10 
    </div> 
    <div>
      11 
    </div> </td> 
   <td> 
    <div> 
     <div>
       [root@localhost oprofile-0.9.7]# make 
     </div> 
     <div>
       … 
     </div> 
     <div>
       gcc -shared&nbsp; .libs/libopagent_la-opagent.o&nbsp; -lbfd -liberty -ldl -lz&nbsp; -Wl,--version-script=../libopagent/opagent_symbols.ver -Wl,-soname -Wl,libopagent.so.1 -o .libs/libopagent.so.1.0.0 
     </div> 
     <div>
       /usr/local/bin/ld: /usr/local/lib/libbfd.a(archures.o): relocation R_X86_64_32 against `bfd_i386_arch' can not be used when making a shared object; recompile with -fPIC 
     </div> 
     <div>
       /usr/local/lib/libbfd.a: could not read symbols: Bad value 
     </div> 
     <div>
       collect2: ld returned 1 exit status 
     </div> 
     <div>
       make[2]: *** [libopagent.la] Error 1 
     </div> 
     <div>
       make[2]: Leaving directory `/home/lenky/oprofile-0.9.6/libopagent' 
     </div> 
     <div>
       make[1]: *** [all-recursive] Error 1 
     </div> 
     <div>
       make[1]: Leaving directory `/home/lenky/oprofile-0.9.6' 
     </div> 
     <div>
       make: *** [all] Error 2 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

该问题在于没有找到bfd的动态链接库，需要进入binutils 的bfd目录编译获取libbfd.so文件：

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> </td> 
   <td> 
    <div> 
     <div>
       [root@localhost bfd]# pwd 
     </div> 
     <div>
       /home/lenky/binutils-2.20.1/bfd 
     </div> 
     <div>
       [root@localhost bfd]# ./configure --enable-shared 
     </div> 
     <div>
       [root@localhost bfd]# make clean 
     </div> 
     <div>
       [root@localhost bfd]# make 
     </div> 
     <div>
       [root@localhost bfd]# make install 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

一般，接下来还会遇到libiberty同样的问题，但是libiberty的configure没有提供–enable-shared选项，所以需要我们自己制作so文件，编辑Makefile文件，加上-fPIC编译选项，然后利用make、gcc生成so：

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> </td> 
   <td> 
    <div> 
     <div>
       [root@localhost libiberty]# vi Makefile 
     </div> 
     <div>
       CFLAGS = -g -O2 -fPIC 
     </div> 
     <div>
       [root@localhost libiberty]# make clean 
     </div> 
     <div>
       [root@localhost libiberty]# make 
     </div> 
     <div>
       [root@localhost libiberty]# gcc -shared *.o -o libiberty.so 
     </div> 
     <div>
       [root@localhost bfd]# make install 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

由于之前编译过，所以注意不要落了make clean对先前编译结果进行清除，否则生成的libiberty.so不完整，要把so库拷贝到正确的系统路径，否则在执行oProfile程序时，可能出现“error while loading shared libraries”的错误信息。  
最后再对oProfile进行make、make install即可，以上就是我在Linux 2.6.37.2内核上编译oProfile过程中遇到的问题，虽然摸索清楚后看似不复杂，其实总个过程也浪费了我不少时间。

5.oProfile工具集  
安装好的oProfile包含有一系列的工具集，这些工具默认在路径/usr/bin之下，它们分别是：  
1) op\_help：列出可用的事件，并带有简短的描述。  
2) opcontrol：控制oProfile的数据收集。  
3) opreport：对结果进行统计输出。  
4) opannaotate：产生带注释的源/汇编文件，源语言级的注释需要编译源文件时已加上调试符号信息的支持。  
5) opgprof：产生如gprof相似的结果。  
6) oparchive：将所有的原始数据文件收集打包，从而可以在另一台机器上进行分析。  
7) opimport：将采样的数据库文件从另一种abi外部格式转化为本地格式。

6.oProfile使用小示例  
下面是一个完整的小示例，其中multiply是测试程序，在进行gcc编译时加上了-g参数，便于opannotate分析：

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> 
    <div>
      10 
    </div> 
    <div>
      11 
    </div> 
    <div>
      12 
    </div> 
    <div>
      13 
    </div> 
    <div>
      14 
    </div> 
    <div>
      15 
    </div> 
    <div>
      16 
    </div> 
    <div>
      17 
    </div> 
    <div>
      18 
    </div> 
    <div>
      19 
    </div> 
    <div>
      20 
    </div> 
    <div>
      21 
    </div> 
    <div>
      22 
    </div> 
    <div>
      23 
    </div> 
    <div>
      24 
    </div> 
    <div>
      25 
    </div> 
    <div>
      26 
    </div> 
    <div>
      27 
    </div> 
    <div>
      28 
    </div> 
    <div>
      29 
    </div> 
    <div>
      30 
    </div> 
    <div>
      31 
    </div> 
    <div>
      32 
    </div> 
    <div>
      33 
    </div> 
    <div>
      34 
    </div> 
    <div>
      35 
    </div> 
    <div>
      36 
    </div> 
    <div>
      37 
    </div> 
    <div>
      38 
    </div> 
    <div>
      39 
    </div> 
    <div>
      40 
    </div> 
    <div>
      41 
    </div> 
    <div>
      42 
    </div> 
    <div>
      43 
    </div> 
    <div>
      44 
    </div> 
    <div>
      45 
    </div> 
    <div>
      46 
    </div> 
    <div>
      47 
    </div> 
    <div>
      48 
    </div> 
    <div>
      49 
    </div> 
    <div>
      50 
    </div> 
    <div>
      51 
    </div> 
    <div>
      52 
    </div> 
    <div>
      53 
    </div> 
    <div>
      54 
    </div> 
    <div>
      55 
    </div> 
    <div>
      56 
    </div> 
    <div>
      57 
    </div> 
    <div>
      58 
    </div> 
    <div>
      59 
    </div> 
    <div>
      60 
    </div> 
    <div>
      61 
    </div> 
    <div>
      62 
    </div> 
    <div>
      63 
    </div> 
    <div>
      64 
    </div> 
    <div>
      65 
    </div> 
    <div>
      66 
    </div> 
    <div>
      67 
    </div> 
    <div>
      68 
    </div> 
    <div>
      69 
    </div> 
    <div>
      70 
    </div> 
    <div>
      71 
    </div> 
    <div>
      72 
    </div> 
    <div>
      73 
    </div> 
    <div>
      74 
    </div> 
    <div>
      75 
    </div> 
    <div>
      76 
    </div> 
    <div>
      77 
    </div> 
    <div>
      78 
    </div> 
    <div>
      79 
    </div> 
    <div>
      80 
    </div> 
    <div>
      81 
    </div> 
    <div>
      82 
    </div> 
    <div>
      83 
    </div> 
    <div>
      84 
    </div> 
    <div>
      85 
    </div> 
    <div>
      86 
    </div> 
    <div>
      87 
    </div> 
    <div>
      88 
    </div> 
    <div>
      89 
    </div> 
    <div>
      90 
    </div> 
    <div>
      91 
    </div> 
    <div>
      92 
    </div> 
    <div>
      93 
    </div> 
    <div>
      94 
    </div> 
    <div>
      95 
    </div> 
    <div>
      96 
    </div> 
    <div>
      97 
    </div> 
    <div>
      98 
    </div> 
    <div>
      99 
    </div> 
    <div>
      100 
    </div> 
    <div>
      101 
    </div> 
    <div>
      102 
    </div> 
    <div>
      103 
    </div> 
    <div>
      104 
    </div> 
    <div>
      105 
    </div> 
    <div>
      106 
    </div> 
    <div>
      107 
    </div> 
    <div>
      108 
    </div> 
    <div>
      109 
    </div> 
    <div>
      110 
    </div> 
    <div>
      111 
    </div> 
    <div>
      112 
    </div> 
    <div>
      113 
    </div> 
    <div>
      114 
    </div> 
    <div>
      115 
    </div> 
    <div>
      116 
    </div> 
    <div>
      117 
    </div> 
    <div>
      118 
    </div> 
    <div>
      119 
    </div> 
    <div>
      120 
    </div> 
    <div>
      121 
    </div> 
    <div>
      122 
    </div> 
    <div>
      123 
    </div> 
    <div>
      124 
    </div> 
    <div>
      125 
    </div> 
    <div>
      126 
    </div> 
    <div>
      127 
    </div> 
    <div>
      128 
    </div> 
    <div>
      129 
    </div> 
    <div>
      130 
    </div> 
    <div>
      131 
    </div> 
    <div>
      132 
    </div> 
    <div>
      133 
    </div> 
    <div>
      134 
    </div> 
    <div>
      135 
    </div> 
    <div>
      136 
    </div> 
    <div>
      137 
    </div> 
    <div>
      138 
    </div> </td> 
   <td> 
    <div> 
     <div>
       [root@localhost test]# cat multiply.c 
     </div> 
     <div>
       /** 
     </div> 
     <div>
       &nbsp;* FileName: multiply.c 
     </div> 
     <div>
       &nbsp;* sh# gcc multiply.c -g -o multiply 
     </div> 
     <div>
       &nbsp;*/ 
     </div> 
     <div>
       &nbsp;&nbsp; 
     </div> 
     <div>
       #include 
     </div> 
     <div>
       int fast_multiply(x,&nbsp; y) 
     </div> 
     <div>
       { 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;return x * y; 
     </div> 
     <div>
       } 
     </div> 
     <div>
       &nbsp;&nbsp; 
     </div> 
     <div>
       int slow_multiply(x, y) 
     </div> 
     <div>
       { 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;int i, j, z; 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;for (i = 0, z = 0; i &lt; x; i++) 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;z = z + y; 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;return z; 
     </div> 
     <div>
       } 
     </div> 
     <div>
       &nbsp;&nbsp; 
     </div> 
     <div>
       int main(int argc, char *argv[]) 
     </div> 
     <div>
       { 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;int i,j; 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;int x,y; 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;for (i = 0; i &lt; 200; i ++) { 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;for (j = 0; j &lt;&nbsp; 30 ; j++) { 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;x = fast_multiply(i, j); 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;y = slow_multiply(i, j); 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;} 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;printf("x=%d, y=%d\n", x, y); 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;return 0; 
     </div> 
     <div>
       } 
     </div> 
     <div>
       [root@localhost test]# gcc multiply.c -g -o multiply 
     </div> 
     <div>
       [root@localhost test]# opcontrol --init 
     </div> 
     <div>
       [root@localhost test]# opcontrol --vmlinux=/usr/src/linux-2.6.37.2/vmlinux 
     </div> 
     <div>
       [root@localhost test]# opcontrol --reset 
     </div> 
     <div>
       [root@localhost test]# opcontrol --start 
     </div> 
     <div>
       Using default event: CPU_CLK_UNHALTED:100000:0:1:1 
     </div> 
     <div>
       Using 2.6+ OProfile kernel interface. 
     </div> 
     <div>
       Reading module info. 
     </div> 
     <div>
       Using log file /var/lib/oprofile/samples/oprofiled.log 
     </div> 
     <div>
       Daemon started. 
     </div> 
     <div>
       Profiler running. 
     </div> 
     <div>
       [root@localhost test]# ./multiply 
     </div> 
     <div>
       x=5771, y=5771 
     </div> 
     <div>
       [root@localhost test]# opcontrol --dump 
     </div> 
     <div>
       [root@localhost test]# opcontrol --stop 
     </div> 
     <div>
       Stopping profiling. 
     </div> 
     <div>
       [root@localhost test]# opcontrol --shutdown 
     </div> 
     <div>
       Killing daemon. 
     </div> 
     <div>
       [root@localhost test]# opcontrol --deinit 
     </div> 
     <div>
       Unloading oprofile module 
     </div> 
     <div>
       [root@localhost test]# opannotate --source ./multiply 
     </div> 
     <div>
       /* 
     </div> 
     <div>
       &nbsp;* Command line: opannotate --source ./multiply 
     </div> 
     <div>
       &nbsp;* 
     </div> 
     <div>
       &nbsp;* Interpretation of command line: 
     </div> 
     <div>
       &nbsp;* Output annotated source file with samples 
     </div> 
     <div>
       &nbsp;* Output all files 
     </div> 
     <div>
       &nbsp;* 
     </div> 
     <div>
       &nbsp;* CPU: Intel Architectural Perfmon, speed 1867 MHz (estimated) 
     </div> 
     <div>
       &nbsp;* Counted CPU_CLK_UNHALTED events (Clock cycles when not halted) with a unit mask of 0x00 (No unit mask) count 100000 
     </div> 
     <div>
       &nbsp;*/ 
     </div> 
     <div>
       /* 
     </div> 
     <div>
       &nbsp;* Total samples for file : "/home/lenky/test/multiply.c" 
     </div> 
     <div>
       &nbsp;* 
     </div> 
     <div>
       &nbsp;*&nbsp;&nbsp;&nbsp;&nbsp; 39 100.000 
     </div> 
     <div>
       &nbsp;*/ 
     </div> 
     <div>
       &nbsp;&nbsp; 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:#include 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;: 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:int fast_multiply(x,&nbsp; y) 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:{ 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; return x * y; 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:} 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:int slow_multiply(x, y) 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:{ /* slow_multiply total:&nbsp;&nbsp;&nbsp;&nbsp; 36 92.3077 */ 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; int i, j, z; 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;27 69.2308 :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; for (i = 0, z = 0; i &lt; x; i++) 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;8 20.5128 :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; z = z + y; 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp; 2.5641 :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; return z; 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:} 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:int main() 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:{ /* main total:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; 7.6923 */ 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; int i,j; 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; int x,y; 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; for (i = 0; i &lt; 200; i ++) { 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2&nbsp; 5.1282 :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; for (j = 0; j &lt;&nbsp; 30 ; j++) { 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp; 2.5641 :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; x = fast_multiply(i, j); 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; y = slow_multiply(i, j); 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; } 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; } 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:&nbsp;&nbsp;&nbsp; printf("x=%d, y=%d\n", x, y); 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; return 0; 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;:} 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;: 
     </div> 
     <div>
       [root@localhost test]# opreport -l ./multiply 
     </div> 
     <div>
       CPU: Intel Architectural Perfmon, speed 1867 MHz (estimated) 
     </div> 
     <div>
       Counted CPU_CLK_UNHALTED events (Clock cycles when not halted) with a unit mask of 0x00 (No unit mask) count 100000 
     </div> 
     <div>
       samples&nbsp; %&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; symbol name 
     </div> 
     <div>
       36&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 92.3077&nbsp; slow_multiply 
     </div> 
     <div>
       3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7.6923&nbsp; main 
     </div> 
     <div>
       [root@localhost test]# opreport 
     </div> 
     <div>
       CPU: Intel Architectural Perfmon, speed 1867 MHz (estimated) 
     </div> 
     <div>
       Counted CPU_CLK_UNHALTED events (Clock cycles when not halted) with a unit mask of 0x00 (No unit mask) count 100000 
     </div> 
     <div>
       CPU_CLK_UNHALT...| 
     </div> 
     <div>
       &nbsp;&nbsp;samples|&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; %| 
     </div> 
     <div>
       ------------------ 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;438541 99.4447 vmlinux 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;921&nbsp; 0.2088 oprofiled 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;630&nbsp; 0.1429 libc-2.5.so 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;355&nbsp; 0.0805 bash 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;342&nbsp; 0.0776 oprofile 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;55&nbsp; 0.0125 ld-2.5.so 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;39&nbsp; 0.0088 multiply 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;21&nbsp; 0.0048 igb 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;16&nbsp; 0.0036 ixgbe 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;12&nbsp; 0.0027 libpthread-2.5.so 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;9&nbsp; 0.0020 irqbalance 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;7&nbsp; 0.0016 gawk 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;7&nbsp; 0.0016 libglib-2.0.so.0.1200.3 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;7&nbsp; 0.0016 libpython2.4.so.1.0 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;6&nbsp; 0.0014 sshd 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4 9.1e-04 libcrypto.so.0.9.8e 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3 6.8e-04 grep 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3 6.8e-04 libusb-0.1.so.4.4.4 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2 4.5e-04 ls 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2 4.5e-04 sendmail.sendmail 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1 2.3e-04 cat 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1 2.3e-04 libdbus-1.so.3.4.0 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1 2.3e-04 libgthread-2.0.so.0.1200.3 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1 2.3e-04 libselinux.so.1 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1 2.3e-04 init 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1 2.3e-04 libpopt.so.0.0.0 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1 2.3e-04 _gobject.so 
     </div> 
     <div>
       &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1 2.3e-04 nmbd 
     </div> 
     <div>
       [root@localhost test]# 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

7.oProfile反复使用以及示例结论  
1) 使用oProfile的基本步骤如下所示，其中中间的步骤是经常使用的，前后几个步骤无需重复多次：

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> </td> 
   <td> 
    <div> 
     <div>
       opcontrol --init&nbsp;&nbsp; #加载模块 
     </div> 
     <div>
       opcontrol --vmlinux=/usr/src/linux-2.6.37.2/vmlinux&nbsp; #是否对kernel进行profiling 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> </td> 
   <td> 
    <div> 
     <div>
       opcontrol --reset&nbsp; #清楚当前会话中的数据 
     </div> 
     <div>
       opcontrol --start&nbsp; #开始profiling 
     </div> 
     <div>
       ./multiply&nbsp;&nbsp; #运行应用程序，oprofile会对它进行profiling 
     </div> 
     <div>
       opcontrol --dump&nbsp; #把收集到的数据写入文件 
     </div> 
     <div>
       opcontrol --stop&nbsp; #停止profiling 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> </td> 
   <td> 
    <div> 
     <div>
       opcontrol --shutdown&nbsp; #关闭守护进程oprofiled 
     </div> 
     <div>
       opcontrol --deinit&nbsp; #卸载模块 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

2) 对于oProfile收集的统计信息，可以使用opreport、opgprof、opannotate这些工具进行分析并获取相关信息，比如从上面的示例中可以看到函数slow\_multiply就相对占用了较多的计算时间。

[http_lenky.info_2012_03_26_oprofile_e7_9a_84_e5_ae_89_e8_a3_85_e4_b8_8e_e4_bd_bf_e7_94_a8]: http://lenky.info/2012/03/26/oprofile%e7%9a%84%e5%ae%89%e8%a3%85%e4%b8%8e%e4%bd%bf%e7%94%a8/
[oProfile]: http://lenky.info/tag/oprofile/
[Link 1]: http://lenky.info/tag/%e8%b0%83%e4%bc%98/
[Cache]: http://lenky.info/2011/11/23/%E5%A6%82%E4%BD%95%E9%AB%98%E6%95%88%E7%9A%84%E8%AE%BF%E9%97%AE%E5%86%85%E5%AD%98/
[http_oprofile.sourceforge.net_faq]: http://oprofile.sourceforge.net/faq/
[http_oprofile.sourceforge.net_doc_detailed-parameters.html_timer]: http://oprofile.sourceforge.net/doc/detailed-parameters.html#timer
[Link 2]: http://lenky.info/tag/%e6%80%a7%e8%83%bd%e6%b5%8b%e8%af%95/
[http_ftp.gnu.org_gnu_binutils_C_M_O_D]: http://ftp.gnu.org/gnu/binutils/?C=M;O=D