linux 内核调试工具介绍

电玩女神 2021-08-19 11:05 582阅读 0赞

### 1 内核调试以及工具总结 ###

内核总是那么捉摸不透, 内核也会犯错, 但是调试却不能像用户空间程序那样, 为此内核开发者为我们提供了一系列的工具和系统来支持内核的调试.

内核的调试, 其本质是内核空间与用户空间的数据交换, 内核开发者们提供了多样的形式来完成这一功能.

<table> 
 <thead> 
  <tr> 
   <th>工具</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>debugfs等文件系统</td> 
   <td>提供了&nbsp;<code>procfs</code>,&nbsp;<code>sysfs</code>,&nbsp;<code>debugfs</code>以及&nbsp;<code>relayfs</code>&nbsp;来与用户空间进行数据交互, 尤其是&nbsp;<strong><code>debugfs</code></strong>, 这是内核开发者们实现的专门用来调试的文件系统接口. 其他的工具或者接口, 多数都依赖于&nbsp;<code>debugfs</code>.</td> 
  </tr> 
  <tr> 
   <td>printk</td> 
   <td>强大的输出系统, 没有什么逻辑上的<code>bug</code>是用<code>PRINT</code>解决不了的</td> 
  </tr> 
  <tr> 
   <td>ftrace以及其前端工具trace-cmd等</td> 
   <td><strong>内核</strong>提供了&nbsp;<strong><code>ftrace</code></strong>&nbsp;工具来实现检查点, 事件等的检测, 这一框架依赖于&nbsp;<code>debugfs</code>, 他在&nbsp;<code>debugfs</code>&nbsp;中的&nbsp;<code>tracing</code>&nbsp;子系统中为用户提供了丰富的操作接口, 我们可以通过该系统对内核实现检测和分析. 功能虽然强大, 但是其操作并不是很简单, 因此使用者们为其实现了&nbsp;<strong><code>trace-cmd</code></strong>&nbsp;等前端工具, 简化了&nbsp;<code>ftrace</code>&nbsp;的使用.</td> 
  </tr> 
  <tr> 
   <td><code>kprobe</code>以及更强大的<code>systemtap</code></td> 
   <td>内核中实现的&nbsp;<code>krpobe</code>&nbsp;通过类似与代码劫持一样的技巧, 在内核的代码或者函数执行前后, 强制加上某些调试信息, 可以很巧妙的完成调试工作, 这是一项先进的调试技术, 但是仍然有觉得它不够好, 劫持代码需要用驱动的方式编译并加载, 能不能通过脚本的方式自动生成劫持代码并自动加载和收集数据, 于是<code>systemtap</code>&nbsp;出现了. 通过&nbsp;<code>systemtap</code>&nbsp;用户只需要编写脚本, 就可以完成调试并动态分析内核</td> 
  </tr> 
  <tr> 
   <td>kgdb &amp;&amp; kgtp</td> 
   <td><code>KGDB</code>&nbsp;是大名鼎鼎的内核调试工具,&nbsp;<code>KGTP</code>则通过驱动的方式强化了&nbsp;<code>gdb</code>的功能, 诸如tracepoint, 打印内核变量等.</td> 
  </tr> 
  <tr> 
   <td>perf</td> 
   <td><code>erf Event</code>是一款随&nbsp;<code>inux</code>内核代码一同发布和维护的性能诊断工具, 核社区维护和发展.&nbsp;<code>Perf</code>&nbsp;不仅可以用于应用程序的性能统计分析, 也可以应用于内核代码的性能统计和分析. 得益于其优秀的体系结构设计, 越来越多的新功能被加入&nbsp;<code>Perf</code>, 使其已经成为一个多功能的性能统计工具集</td> 
  </tr> 
  <tr> 
   <td>LTTng</td> 
   <td><code>LTTng</code>&nbsp;是一个&nbsp;<code>Linux</code>&nbsp;平台开源的跟踪工具, 是一套软件组件, 可允许跟踪&nbsp;<code>Linux</code>&nbsp;内核和用户程序, 并控制跟踪会话(开始/停止跟踪、启动/停止事件 等等).</td> 
  </tr> 
  <tr> 
   <td>eBPF</td> 
   <td>eBPF(extended Berkeley Packet Filter)</td> 
  </tr> 
  <tr> 
   <td>ktap</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>dtrace4linux</td> 
   <td><code>Sun DTracer</code>&nbsp;的&nbsp;<code>Linux</code>&nbsp;移植版</td> 
  </tr> 
  <tr> 
   <td>OL DTrace</td> 
   <td><code>Oracle Linux DTracer</code></td> 
  </tr> 
  <tr> 
   <td>sysdig</td> 
   <td>&nbsp;</td> 
  </tr> 
 </tbody> 
</table>

## ##

### 2 用户空间与内核空间数据交换的文件系统 ###

内核中有三个常用的伪文件系统: procfs, debugfs和sysfs.

<table> 
 <thead> 
  <tr> 
   <th>文件系统</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>procfs</td> 
   <td>The proc filesystem is a pseudo-filesystem which provides an interface to kernel data structures.</td> 
  </tr> 
  <tr> 
   <td>sysfs</td> 
   <td>The filesystem for exporting kernel objects.</td> 
  </tr> 
  <tr> 
   <td>debugfs</td> 
   <td>Debugfs exists as a simple way for kernel developers to make information available to user space.</td> 
  </tr> 
  <tr> 
   <td>relayfs</td> 
   <td>A significantly streamlined version of relayfs was recently accepted into the -mm kernel tree.</td> 
  </tr> 
 </tbody> 
</table>

它们都用于Linux内核和用户空间的数据交换, 但是适用的场景有所差异：

*  `procfs` 历史最早, 最初就是用来跟内核交互的唯一方式, 用来获取处理器、内存、设备驱动、进程等各种信息.
 *  `sysfs` 跟 `kobject` 框架紧密联系, 而 `kobject` 是为设备驱动模型而存在的, 所以 `sysfs` 是为设备驱动服务的.
 *  `debugfs` 从名字来看就是为 `debug` 而生, 所以更加灵活.
 *  `relayfs` 是一个快速的转发 `(relay)` 数据的文件系统, 它以其功能而得名. 它为那些需要从内核空间转发大量数据到用户空间的工具和应用提供了快速有效的转发机制.

[在 Linux 下用户空间与内核空间数据交换的方式, 第 2 部分: procfs、seq\_file、debugfs和relayfs][Linux _ _ 2 _ procfs_seq_file_debugfs_relayfs]

[Linux 文件系统：procfs, sysfs, debugfs 用法简介][Linux _procfs_ sysfs_ debugfs]

## ##

### 2.1 procfs文件系统 ###

*  `ProcFs` 介绍\`

`procfs` 是比较老的一种用户态与内核态的数据交换方式, 内核的很多数据都是通过这种方式出口给用户的, 内核的很多参数也是通过这种方式来让用户方便设置的. 除了 `sysctl` 出口到 `/proc` 下的参数, `procfs` 提供的大部分内核参数是只读的. 实际上, 很多应用严重地依赖于procfs, 因此它几乎是必不可少的组件. 前面部分的几个例子实际上已经使用它来出口内核数据, 但是并没有讲解如何使用, 本节将讲解如何使用`procfs`.

*  参考资料

[用户空间与内核空间数据交换的方式(2)------procfs][2_------procfs]

## ##

### 2.2 sysfs文件系统 ###

内核子系统或设备驱动可以直接编译到内核, 也可以编译成模块, 编译到内核, 使用前一节介绍的方法通过内核启动参数来向它们传递参数, 如果编译成模块, 则可以通过命令行在插入模块时传递参数, 或者在运行时, 通过 `sysfs` 来设置或读取模块数据.

`Sysfs` 是一个基于内存的文件系统, 实际上它基于`ramfs`, `sysfs` 提供了一种把内核数据结构, 它们的属性以及属性与数据结构的联系开放给用户态的方式, 它与 `kobject` 子系统紧密地结合在一起, 因此内核开发者不需要直接使用它, 而是内核的各个子系统使用它. 用户要想使用 `sysfs` 读取和设置内核参数, 仅需装载 `sysfs` 就可以通过文件操作应用来读取和设置内核通过 `sysfs` 开放给用户的各个参数：

mkdir -p /sysfs
    mount -t sysfs sysfs /sysfs

注意, 不要把 `sysfs` 和 `sysctl` 混淆, `sysctl` 是内核的一些控制参数, 其目的是方便用户对内核的行为进行控制, 而 `sysfs` 仅仅是把内核的 `kobject` 对象的层次关系与属性开放给用户查看, 因此 `sysfs` 的绝大部分是只读的, 模块作为一个 `kobject` 也被出口到 `sysfs`, 模块参数则是作为模块属性出口的, 内核实现者为模块的使用提供了更灵活的方式, 允许用户设置模块参数在 `sysfs` 的可见性并允许用户在编写模块时设置这些参数在 `sysfs` 下的访问权限, 然后用户就可以通过 `sysfs` 来查看和设置模块参数, 从而使得用户能在模块运行时控制模块行为.

[用户空间与内核空间数据交换的方式(6)------模块参数与sysfs][6_------_sysfs]

## ##

### 2.3 debugfs文件系统 ###

内核开发者经常需要向用户空间应用输出一些调试信息, 在稳定的系统中可能根本不需要这些调试信息, 但是在开发过程中, 为了搞清楚内核的行为, 调试信息非常必要, printk可能是用的最多的, 但它并不是最好的, 调试信息只是在开发中用于调试, 而 `printk` 将一直输出, 因此开发完毕后需要清除不必要的 `printk` 语句, 另外如果开发者希望用户空间应用能够改变内核行为时, `printk` 就无法实现.

因此, 需要一种新的机制, 那只有在需要的时候使用, 它在需要时通过在一个虚拟文件系统中创建一个或多个文件来向用户空间应用提供调试信息.

有几种方式可以实现上述要求：

*  使用 `procfs`, 在 `/proc` 创建文件输出调试信息, 但是 `procfs` 对于大于一个内存页(对于 `x86` 是 `4K`)的输出比较麻烦, 而且速度慢, 有时回出现一些意想不到的问题.
 *  使用 `sysfs`( `2.6` 内核引入的新的虚拟文件系统), 在很多情况下, 调试信息可以存放在那里, 但是sysfs主要用于系统管理，它希望每一个文件对应内核的一个变量，如果使用它输出复杂的数据结构或调试信息是非常困难的.
 *  使用 `libfs` 创建一个新的文件系统, 该方法极其灵活, 开发者可以为新文件系统设置一些规则, 使用 `libfs` 使得创建新文件系统更加简单, 但是仍然超出了一个开发者的想象.

为了使得开发者更加容易使用这样的机制, `Greg Kroah-Hartman` 开发了 `debugfs`(在 `2.6.11` 中第一次引入), 它是一个虚拟文件系统, 专门用于输出调试信息, 该文件系统非常小, 很容易使用, 可以在配置内核时选择是否构件到内核中, 在不选择它的情况下, 使用它提供的API的内核部分不需要做任何改动.

[用户空间与内核空间数据交换的方式(1)------debugfs][1_------debugfs]

[Linux内核里的DebugFS][Linux_DebugFS]

[Linux Debugfs文件系统介绍及使用][Linux Debugfs]

[Debugging the Linux Kernel with debugfs][]

[Linux Debugfs文件系统介绍及使用][Linux Debugfs]

[Linux 文件系统：procfs, sysfs, debugfs 用法简介][Linux _procfs_ sysfs_ debugfs]

[用户空间与内核空间数据交换的方式(1)------debugfs][1_------debugfs]

[Linux 运用debugfs调试方法][Linux _debugfs]

## ##

### 2.4 relayfs文件系统 ###

`relayfs` 是一个快速的转发(`relay`)数据的文件系统, 它以其功能而得名. 它为那些需要从内核空间转发大量数据到用户空间的工具和应用提供了快速有效的转发机制.

`Channel` 是 `relayfs` 文件系统定义的一个主要概念, 每一个 `channel` 由一组内核缓存组成, 每一个 `CPU` 有一个对应于该 `channel` 的内核缓存, 每一个内核缓存用一个在 `relayfs` 文件系统中的文件文件表示, 内核使用 `relayfs` 提供的写函数把需要转发给用户空间的数据快速地写入当前 `CPU` 上的 `channel` 内核缓存, 用户空间应用通过标准的文件 `I/` O函数在对应的 `channel` 文件中可以快速地取得这些被转发出的数据 `mmap` 来. 写入到 `channel` 中的数据的格式完全取决于内核中创建`channel` 的模块或子系统.

`relayfs` 的用户空间`API` :

`relayfs` 实现了四个标准的文件 `I/O` 函数, `open、mmap、poll和close`

<table> 
 <thead> 
  <tr> 
   <th>函数</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>open</code></td> 
   <td>打开一个&nbsp;<code>channel</code>&nbsp;在某一个&nbsp;<code>CPU</code>&nbsp;上的缓存对应的文件.</td> 
  </tr> 
  <tr> 
   <td><code>mmap</code></td> 
   <td>把打开的&nbsp;<code>channel</code>&nbsp;缓存映射到调用者进程的内存空间.</td> 
  </tr> 
  <tr> 
   <td><code>read</code></td> 
   <td>读取&nbsp;<code>channel</code>&nbsp;缓存, 随后的读操作将看不到被该函数消耗的字节, 如果&nbsp;<code>channel</code>&nbsp;的操作模式为非覆盖写, 那么用户空间应用在有内核模块写时仍可以读取, 但是如&nbsp;<code>channel</code>&nbsp;的操作模式为覆盖式, 那么在读操作期间如果有内核模块进行写，结果将无法预知, 因此对于覆盖式写的&nbsp;<code>channel</code>, 用户应当在确认在&nbsp;<code>channel</code>&nbsp;的写完全结束后再进行读.</td> 
  </tr> 
  <tr> 
   <td>poll</td> 
   <td>用于通知用户空间应用转发数据跨越了子缓存的边界, 支持的轮询标志有&nbsp;<code>POLLIN</code>、<code>POLLRDNORM</code>&nbsp;和&nbsp;<code>POLLERR</code></td> 
  </tr> 
  <tr> 
   <td><code>close</code></td> 
   <td>关闭&nbsp;<code>open</code>&nbsp;函数返回的文件描述符, 如果没有进程或内核模块打开该&nbsp;<code>channel</code>&nbsp;缓存,&nbsp;<code>close</code>&nbsp;函数将释放该<code>channel</code>&nbsp;缓存</td> 
  </tr> 
 </tbody> 
</table>

> 注意 : 用户态应用在使用上述 `API` 时必须保证已经挂载了 `relayfs` 文件系统, 但内核在创建和使用 `channel`时不需要`relayfs` 已经挂载. 下面命令将把 `relayfs` 文件系统挂载到 `/mnt/relay`.

[用户空间与内核空间数据交换的方式(4)------relayfs][4_------relayfs]

[Relay：一种内核到用户空间的高效数据传输技术][Relay]

## ##

### 2.5 seq\_file ###

一般地, 内核通过在 `procfs` 文件系统下建立文件来向用户空间提供输出信息, 用户空间可以通过任何文本阅读应用查看该文件信息, 但是 `procfs` 有一个缺陷, 如果输出内容大于1个内存页, 需要多次读, 因此处理起来很难, 另外, 如果输出太大, 速度比较慢, 有时会出现一些意想不到的情况, `Alexander Viro` 实现了一套新的功能, 使得内核输出大文件信息更容易, 该功能出现在 `2.4.15`(包括 `2.4.15`)以后的所有 `2.4` 内核以及 `2.6` 内核中, 尤其是在 `2.6` 内核中，已经大量地使用了该功能

[用户空间与内核空间数据交换的方式(3)------seq\_file][3_------seq_file]

[内核proc文件系统与seq接口（4）---seq\_file接口编程浅析][proc_seq_4_---seq_file]

[Linux内核中的seq操作][Linux_seq]

[seq\_file源码分析][seq_file]

[用序列文件(seq\_file)接口导出常用数据结构][seq_file 1]

[seq\_file机制][seq_file 2]

## ##

### 3 printk ###

在内核调试技术之中, 最简单的就是 `printk` 的使用了, 它的用法和C语言应用程序中的 `printf` 使用类似, 在应用程序中依靠的是 `stdio.h` 中的库, 而在 `linux` 内核中没有这个库, 所以在 `linux` 内核中, 实现了自己的一套库函数, `printk` 就是标准的输出函数

[linux内核调试技术之printk][linux_printk]

[调整内核printk的打印级别][printk]

[linux设备驱动学习笔记--内核调试方法之printk][linux_--_printk]

## ##

### 4 ftrace && trace-cmd ###

### 4.1 trace && ftrace ###

`Linux`当前版本中, 功能最强大的调试、跟踪手段. 其最基本的功能是提供了动态和静态探测点, 用于探测内核中指定位置上的相关信息.

静态探测点, 是在内核代码中调用 `ftrace` 提供的相应接口实现, 称之为静态是因为, 是在内核代码中写死的, 静态编译到内核代码中的, 在内核编译后, 就不能再动态修改. 在开启 `ftrace` 相关的内核配置选项后, 内核中已经在一些关键的地方设置了静态探测点, 需要使用时, 即可查看到相应的信息.

动态探测点, 基本原理为 : 利用 `mcount` 机制, 在内核编译时, 在每个函数入口保留数个字节, 然后在使用 `ftrace`时, 将保留的字节替换为需要的指令, 比如跳转到需要的执行探测操作的代码。

`ftrace` 的作用是帮助开发人员了解 `Linux` 内核的运行时行为, 以便进行故障调试或性能分析.

最早 `ftrace` 是一个 `function tracer`, 仅能够记录内核的函数调用流程. 如今 `ftrace` 已经成为一个 `framework`, 采用 `plugin` 的方式支持开发人员添加更多种类的 `trace` 功能.

`Ftrace` 由 `RedHat` 的 `Steve Rostedt` 负责维护. 到 `2.6.30` 为止, 已经支持的 `tracer` 包括 :

<table> 
 <thead> 
  <tr> 
   <th>Tracer</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Function tracer 和 Function graph tracer</td> 
   <td>跟踪函数调用</td> 
  </tr> 
  <tr> 
   <td>Schedule switch tracer</td> 
   <td>跟踪进程调度情况</td> 
  </tr> 
  <tr> 
   <td>Wakeup tracer</td> 
   <td>跟踪进程的调度延迟, 即高优先级进程从进入&nbsp;<code>ready</code>&nbsp;状态到获得&nbsp;<code>CPU</code>&nbsp;的延迟时间. 该&nbsp;<code>tracer</code>&nbsp;只针对实时进程</td> 
  </tr> 
  <tr> 
   <td>Irqsoff tracer</td> 
   <td>当中断被禁止时, 系统无法相应外部事件, 比如键盘和鼠标, 时钟也无法产生&nbsp;<code>tick</code>&nbsp;中断. 这意味着系统响应延迟,&nbsp;<code>irqsoff</code>&nbsp;这个&nbsp;<code>tracer</code>&nbsp;能够跟踪并记录内核中哪些函数禁止了中断, 对于其中中断禁止时间最长的,&nbsp;<code>irqsoff</code>&nbsp;将在&nbsp;<code>log</code>&nbsp;文件的第一行标示出来, 从而使开发人员可以迅速定位造成响应延迟的罪魁祸首.</td> 
  </tr> 
  <tr> 
   <td>Preemptoff tracer</td> 
   <td>和前一个 tracer 类似,&nbsp;<code>preemptoff tracer</code>&nbsp;跟踪并记录禁止内核抢占的函数, 并清晰地显示出禁止抢占时间最长的内核函数.</td> 
  </tr> 
  <tr> 
   <td>Preemptirqsoff tracer</td> 
   <td>同上, 跟踪和记录禁止中断或者禁止抢占的内核函数, 以及禁止时间最长的函数.</td> 
  </tr> 
  <tr> 
   <td>Branch tracer</td> 
   <td>跟踪内核程序中的&nbsp;<code>likely/unlikely</code>&nbsp;分支预测命中率情况.&nbsp;<code>Branch tracer</code>&nbsp;能够记录这些分支语句有多少次预测成功. 从而为优化程序提供线索.</td> 
  </tr> 
  <tr> 
   <td>Hardware branch tracer</td> 
   <td>利用处理器的分支跟踪能力, 实现硬件级别的指令跳转记录. 在&nbsp;<code>x86</code>&nbsp;上, 主要利用了&nbsp;<code>BTS</code>&nbsp;这个特性.</td> 
  </tr> 
  <tr> 
   <td>Initcall tracer</td> 
   <td>记录系统在&nbsp;<code>boot</code>&nbsp;阶段所调用的&nbsp;<code>init call</code>.</td> 
  </tr> 
  <tr> 
   <td>Mmiotrace tracer</td> 
   <td>记录&nbsp;<code>memory map IO</code>&nbsp;的相关信息.</td> 
  </tr> 
  <tr> 
   <td>Power tracer</td> 
   <td>记录系统电源管理相关的信息</td> 
  </tr> 
  <tr> 
   <td>Sysprof tracer</td> 
   <td>缺省情况下,&nbsp;<code>sysprof tracer</code>&nbsp;每隔&nbsp;<code>1 msec</code>&nbsp;对内核进行一次采样，记录函数调用和堆栈信息.</td> 
  </tr> 
  <tr> 
   <td>Kernel memory tracer</td> 
   <td>内存&nbsp;<code>tracer</code>&nbsp;主要用来跟踪&nbsp;<code>slab allocator</code>&nbsp;的分配情况. 包括&nbsp;<code>kfree</code>,&nbsp;<code>kmem_cache_alloc</code>&nbsp;等&nbsp;<code>API</code>&nbsp;的调用情况, 用户程序可以根据&nbsp;<code>tracer</code>&nbsp;收集到的信息分析内部碎片情况, 找出内存分配最频繁的代码片断, 等等.</td> 
  </tr> 
  <tr> 
   <td>Workqueue statistical tracer</td> 
   <td>这是一个&nbsp;<code>statistic tracer</code>, 统计系统中所有的&nbsp;<code>workqueue</code>&nbsp;的工作情况, 比如有多少个&nbsp;<code>work</code>&nbsp;被插入&nbsp;<code>workqueue</code>, 多少个已经被执行等. 开发人员可以以此来决定具体的&nbsp;<code>workqueue</code>&nbsp;实现, 比如是使用&nbsp;<code>single threaded workqueue</code>&nbsp;还是&nbsp;<code>per cpu workqueue</code>.</td> 
  </tr> 
  <tr> 
   <td>Event tracer</td> 
   <td>跟踪系统事件, 比如&nbsp;<code>timer</code>, 系统调用, 中断等.</td> 
  </tr> 
 </tbody> 
</table>

这里还没有列出所有的 `tracer`, `ftrace` 是目前非常活跃的开发领域, 新的 `tracer` 将不断被加入内核。

[ftrace和它的前端工具trace-cmd(深入了解Linux系统的利器)][ftrace_trace-cmd_Linux]

[ftrace 简介][ftrace]

[内核性能调试–ftrace][ftrace 1]

[使用 ftrace 调试 Linux 内核，第 1 部分][ftrace _ Linux _ 1]

[ftrace的使用][ftrace 2]

[\[转\]Linux内核跟踪之trace框架分析][Linux_trace]

[Linux trace使用入门][Linux trace]

## ##

### 4.2 ftrace前端工具trace-cmd ###

*  trace-cmd 介绍

`trace-cmd` 和 开源的 `kernelshark` 均是内核`Ftrace` 的前段工具, 用于分分析核性能.

他们相当于是一个 `/sys/kernel/debug/tracing` 中文件系统接口的封装, 为用户提供了更加直接和方便的操作.

*  使用

#  收集信息
    sudo trace-cmd reord subsystem:tracing 
    
    #  解析结果
    #sudo trace-cmd report

[trace-cmd: A front-end for Ftrace][trace-cmd_ A front-end for Ftrace]

其本质就是对`/sys/kernel/debug/tracing/events` 下各个模块进行操作, 收集数据并解析

## ##

### 5 Kprobe && systemtap ###

### 5.1 内核kprobe机制 ###

`kprobe` 是 `linux` 内核的一个重要特性, 是一个轻量级的内核调试工具, 同时它又是其他一些更高级的内核调试工具(比如 `perf` 和 `systemtap`)的 "基础设施", 4.0版本的内核中, 强大的 `eBPF` 特性也寄生于 `kprobe` 之上, 所以 `kprobe` 在内核中的地位就可见一斑了.

`Kprobes` 提供了一个强行进入任何内核例程并从中断处理器无干扰地收集信息的接口. 使用 `Kprobes` 可以收集处理器寄存器和全局数据结构等调试信息。开发者甚至可以使用 `Kprobes` 来修改 寄存器值和全局数据结构的值.

如何高效地调试内核?

`printk` 是一种方法, 但是 `printk` 终归是毫无选择地全量输出, 某些场景下不实用, 于是你可以试一下`tracepoint`, 我使能 `tracepoint` 机制的时候才输出. 对于傻傻地放置 `printk` 来输出信息的方式, `tracepoint` 是个进步, 但是 `tracepoint` 只是内核在某些特定行为(比如进程切换)上部署的一些静态锚点, 这些锚点并不一定是你需要的, 所以你仍然需要自己部署`tracepoint`, 重新编译内核. 那么 `kprobe` 的出现就很有必要了, 它可以在运行的内核中动态插入探测点, 执行你预定义的操作.

它的基本工作机制是 : 用户指定一个探测点, 并把一个用户定义的处理函数关联到该探测点, 当内核执行到该探测点时, 相应的关联函数被执行，然后继续执行正常的代码路径.

`kprobe` 实现了三种类型的探测点 : `kprobes`, `jprobes`和 `kretprobes`(也叫返回探测点). `kprobes` 是可以被插入到内核的任何指令位置的探测点, `jprobes` 则只能被插入到一个内核函数的入口, 而 `kretprobes` 则是在指定的内核函数返回时才被执行.

[随想录(强大的kprobe)][kprobe]

[kprobe原理解析（一）][kprobe 1]

## ##

### 5.2 前端工具systemtap ###

`SystemTap` 是监控和跟踪运行中的 `Linux` 内核的操作的动态方法. 这句话的关键词是动态, 因为 `SystemTap` 没有使用工具构建一个特殊的内核, 而是允许您在运行时动态地安装该工具. 它通过一个 `Kprobes` 的应用编程接口 (`API`) 来实现该目的.

`SystemTap` 与一种名为 `DTrace` 的老技术相似，该技术源于 `Sun Solaris` 操作系统. 在 `DTrace` 中, 开发人员可以用 `D` 编程语言(`C` 语言的子集, 但修改为支持跟踪行为)编写脚本. `DTrace` 脚本包含许多探针和相关联的操作, 这些操作在探针 "触发" 时发生. 例如, 探针可以表示简单的系统调用，也可以表示更加复杂的交互，比如执行特定的代码行

`DTrace` 是 `Solaris` 最引人注目的部分, 所以在其他操作系统中开发它并不奇怪. `DTrace` 是在 `Common Development and Distribution License (CDDL)` 之下发行的, 并且被移植到 `FreeBSD` 操作系统中.

另一个非常有用的内核跟踪工具是 `ProbeVue`, 它是 `IBM` 为 `IBM® AIX®` 操作系统 `6.1` 开发的. 您可以使用 `ProbeVue` 探查系统的行为和性能, 以及提供特定进程的详细信息. 这个工具使用一个标准的内核以动态的方式进行跟踪.

考虑到 `DTrace` 和 `ProbeVue` 在各自的操作系统中的巨大作用, 为 `Linux` 操作系统策划一个实现该功能的开源项目是势不可挡的. `SystemTap` 从 `2005` 年开始开发, 它提供与 `DTrace` 和 `ProbeVue` 类似的功能. 许多社区还进一步完善了它, 包括 `Red Hat`、`Intel`、`Hitachi` 和 `IBM` 等.

这些解决方案在功能上都是类似的, 在触发探针时使用探针和相关联的操作脚本.

[SystemTap 学习笔记 - 安装篇][SystemTap _ -]

[Linux 自检和 SystemTap 用于动态内核分析的接口和语言][Linux _ SystemTap]

[Brendan's blog Using SystemTap][Brendan_s blog Using SystemTap]

[内核调试神器SystemTap — 简介与使用（一）][SystemTap _]

[内核探测工具systemtap简介][systemtap]

[SystemTap Beginner][]

[使用systemtap调试linux内核][systemtap_linux]

[Ubuntu Kernel Debuginfo][]

[Linux 下的一个全新的性能测量和调式诊断工具 Systemtap, 第 3 部分: Systemtap][Linux _ Systemtap_ _ 3 _ Systemtap]

## ##

### 6 kgdb && kgtp ###

### 6.1 kgdb ###

*  KDB 和 KGDB 合并, 并进入内核

`KGDB` 是大名鼎鼎的内核调试工具, 他是由 `KDB` 和 `KGDB` 项目合并而来.

`kdb` 是一个Linux系统的内核调试器, 它是由SGI公司开发的遵循GPL许可证的开放源码调试工具. `kdb` 嵌入在`Linux` 内核中. 为内核&&驱动程序员提供调试手段. 它适合于调试内核空间的程序代码. 譬如进行设备驱动程序调试. 内核模块的调试等.

`kgdb` 和 `kdb` 现在已经合并了. 对于一个正在运行的`kgdb` 而言, 可以使用 `gdbmonitor` 命令来使用 `kdb` 命令. 比如

(gdb)gdb monitor ps -A

就可以运行 `kdb` 的 `ps` 命令了.

分析一下 `kdb` 补丁和合入主线的 `kdb` 有啥不同

`kdb`跟 `kgdb` 合并之后, 也可以使用 `kgdb` 的`IO` 驱动(比如键盘), 但是同时也 `kdb`也丧失了一些功能. 合并之后的`kdb`不在支持汇编级的源码调试. 因此它现在也是平台独立的.

1.  kdump和kexec已经被移除。
2.  从/proc/meninfo中获取的信息比以前少了。
3.  bt命令现在使用的是内核的backtracer，而不是kdb原来使用的反汇编。
4.  合并之后的kdb不在具有原来的反汇编（id命令）

总结一下 : `kdb` 和 `kgdb` 合并之后，系统中对这两种调试方式几乎没有了明显的界限，比如通过串口进行远程访问的时候，可以使用 `kgdb` 命令, 也可以使用 `kdb` 命令（使用gdb monitor实现）

## ##

### 6.2 KGTP ###

`KGTP` 是一个 实时 轻量级 `Linux` 调试器 和 跟踪器. 使用 `KGTP`

使用 `KGTP` 不需要在 `Linux` 内核上打 `PATCH` 或者重新编译, 只要编译KGTP模块并 `insmod` 就可以.

其让 `Linux` 内核提供一个远程 `GDB` 调试接口, 于是在本地或者远程的主机上的GDB可以在不需要停止内核的情况下用 `GDB tracepoint` 和其他一些功能 调试 和 跟踪 `Linux`.

即使板子上没有 `GDB` 而且其没有可用的远程接口, `KGTP` 也可以用离线调试的功能调试内核（见[http://code.google.com/p/kgtp/wiki/HOWTOCN\#/sys/kernel/debug/gtpframe和离线调试）。][http_code.google.com_p_kgtp_wiki_HOWTOCN_sys_kernel_debug_gtpframe]

KGTP支持 X86-32 ， X86-64 ， MIPS 和 ARM 。 KGTP在Linux内核 2.6.18到upstream 上都被测试过。 而且还可以用在 Android 上(见 [HowToUseKGTPinAndroid][])

[github-KGTP][]

[KGTP内核调试使用][KGTP]

[KGTP中增加对GDB命令“set trace-buffer-size”的支持 - Week 5][KGTP_GDB_set trace-buffer-size_ - Week 5]

## ##

### 7 perf ###

`Perf` 是用来进行软件性能分析的工具。 通过它, 应用程序可以利用 `PMU`, `tracepoint` 和内核中的特殊计数器来进行性能统计. 它不但可以分析指定应用程序的性能问题 (`per thread`). 也可以用来分析内核的性能问题, 当然也可以同时分析应用代码和内核，从而全面理解应用程序中的性能瓶颈.

最初的时候, 它叫做 `Performance counter`, 在 `2.6.31` 中第一次亮相. 此后他成为内核开发最为活跃的一个领域. 在 `2.6.32` 中它正式改名为 `Performance Event`, 因为 `perf` 已不再仅仅作为 `PMU` 的抽象, 而是能够处理所有的性能相关的事件.

使用 `perf`, 您可以分析程序运行期间发生的硬件事件，比如 `instructions retired` , `processor clock cycles` 等; 您也可以分析软件事件, 比如 `Page Fault` 和进程切换。 这使得 `Perf` 拥有了众多的性能分析能力, 举例来说，使用 `Perf` 可以计算每个时钟周期内的指令数, 称为 `IPC`, `IPC` 偏低表明代码没有很好地利用 `CPU`.

`Perf` 还可以对程序进行函数级别的采样, 从而了解程序的性能瓶颈究竟在哪里等等. `Perf` 还可以替代 `strace`, 可以添加动态内核 `probe` 点. 还可以做 `benchmark` 衡量调度器的好坏.

人们或许会称它为进行性能分析的"瑞士军刀", 但我不喜欢这个比喻, 我觉得 `perf` 应该是一把世间少有的倚天剑. 金庸笔下的很多人都有对宝刀的癖好, 即便本领低微不配拥有, 但是喜欢, 便无可奈何. 我恐怕正如这些人一样, 因此进了酒馆客栈, 见到相熟或者不相熟的人, 就要兴冲冲地要讲讲那倚天剑的故事.

[Perf -- Linux下的系统性能调优工具，第 1 部分][Perf -- Linux_ 1]

[perf Examples][]

改进版的perf, [Performance analysis tools based on Linux perf\_events (aka perf) and ftrace][Performance analysis tools based on Linux perf_events _aka perf_ and ftrace]

[Perf使用教程][Perf]

[linux下的内核测试工具——perf使用简介][linux_perf]

[perf 移植][perf]

## ##

### 8 LTTng ###

`LTTng` 是一个 `Linux` 平台开源的跟踪工具, 是一套软件组件, 可允许跟踪 `Linux` 内核和用户程序, 并控制跟踪会话(开始/停止跟踪、启动/停止事件 等等). 这些组件被绑定如下三个包 :

<table> 
 <thead> 
  <tr> 
   <th>包</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>LTTng-tools</td> 
   <td>库和用于跟踪会话的命令行接口</td> 
  </tr> 
  <tr> 
   <td>LTTng-modules</td> 
   <td>允许用&nbsp;<code>LTTng</code>&nbsp;跟踪&nbsp;<code>Linux</code>&nbsp;的&nbsp;<code>Linux</code>&nbsp;内核模块</td> 
  </tr> 
  <tr> 
   <td>LTTng-UST</td> 
   <td>用户空间跟踪库</td> 
  </tr> 
 </tbody> 
</table>

[Linux 平台开源的跟踪工具：LTTng][Linux _LTTng]

[用 lttng 跟踪内核][lttng]

[LTTng and LTTng project][]

## ##

### 9 参考资料 ###

Linux内核调试方法  
[https://www.cnblogs.com/shineshqw/articles/2359114.html][https_www.cnblogs.com_shineshqw_articles_2359114.html]

linux内核调试指南  
[http://blog.csdn.net/bob\_fly1984/article/details/51405856 ][http_blog.csdn.net_bob_fly1984_article_details_51405856]

如何动态调试 (ddebug)  
[http://www.oschina.net/translate/dynamic-debug-howto?print ][http_www.oschina.net_translate_dynamic-debug-howto_print]

Linux内核调试方法总结  
[https://my.oschina.net/fgq611/blog/113249 ][https_my.oschina.net_fgq611_blog_113249]

[Linux _ _ 2 _ procfs_seq_file_debugfs_relayfs]: http://www.ibm.com/developerworks/cn/linux/l-kerns-usrs2/
[Linux _procfs_ sysfs_ debugfs]: http://www.tinylab.org/show-the-usage-of-procfs-sysfs-debugfs/
[2_------procfs]: http://www.cnblogs.com/hoys/archive/2011/04/10/2011141.html
[6_------_sysfs]: http://www.cnblogs.com/hoys/archive/2011/04/10/2011470.html
[1_------debugfs]: http://www.cnblogs.com/hoys/archive/2011/04/10/2011124.html
[Linux_DebugFS]: http://www.cnblogs.com/wwang/archive/2011/01/17/1937609.html
[Linux Debugfs]: http://blog.sina.com.cn/s/blog_40d2f1c80100p7u2.html
[Debugging the Linux Kernel with debugfs]: http://opensourceforu.com/2010/10/debugging-linux-kernel-with-debugfs/
[Linux _debugfs]: http://www.xuebuyuan.com/1023006.html
[4_------relayfs]: http://www.cnblogs.com/hoys/archive/2011/04/10/2011270.html
[Relay]: https://www.ibm.com/developerworks/cn/linux/l-cn-relay/
[3_------seq_file]: http://www.cnblogs.com/hoys/archive/2011/04/10/2011261.html
[proc_seq_4_---seq_file]: http://blog.chinaunix.net/uid-20543672-id-3235254.html
[Linux_seq]: http://www.cnblogs.com/qq78292959/archive/2012/06/13/2547335.html
[seq_file]: http://www.cppblog.com/csjiaxin/articles/136681.html
[seq_file 1]: http://blog.chinaunix.net/uid-317451-id-92670.html
[seq_file 2]: http://blog.csdn.net/a8039974/article/details/24052619
[linux_printk]: http://www.cnblogs.com/veryStrong/p/6218383.html
[printk]: http://blog.csdn.net/tonywgx/article/details/17504001
[linux_--_printk]: http://blog.csdn.net/itsenlin/article/details/43205983
[ftrace_trace-cmd_Linux]: http://blog.yufeng.info/archives/1012
[ftrace]: https://www.ibm.com/developerworks/cn/linux/l-cn-ftrace/
[ftrace 1]: http://blog.chinaunix.net/uid-20589411-id-3501525.html
[ftrace _ Linux _ 1]: https://www.ibm.com/developerworks/cn/linux/l-cn-ftrace1
[ftrace 2]: http://blog.csdn.net/cybertan/article/details/8258394
[Linux_trace]: http://blog.chinaunix.net/uid-24063584-id-2642103.html
[Linux trace]: http://blog.csdn.net/jscese/article/details/46415531
[trace-cmd_ A front-end for Ftrace]: https://lwn.net/Articles/410200/
[kprobe]: http://blog.csdn.net/feixiaoxing/article/details/40351811
[kprobe 1]: http://www.cnblogs.com/honpey/p/4575928.html
[SystemTap _ -]: https://segmentfault.com/a/1190000000671438
[Linux _ SystemTap]: https://www.ibm.com/developerworks/cn/linux/l-systemtap/
[Brendan_s blog Using SystemTap]: http://dtrace.org/blogs/brendan/2011/10/15/using-systemtap/
[SystemTap _]: http://blog.csdn.net/zhangskd/article/details/25708441
[systemtap]: http://www.cnblogs.com/hazir/p/systemtap_introduction.html
[SystemTap Beginner]: http://blog.csdn.net/kafeiflynn/article/details/6429976
[systemtap_linux]: http://blog.csdn.net/heli007/article/details/7187748
[Ubuntu Kernel Debuginfo]: http://ddebs.ubuntu.com/pool/main/l/linux
[Linux _ Systemtap_ _ 3 _ Systemtap]: https://www.ibm.com/developerworks/cn/linux/l-cn-systemtap3/
[http_code.google.com_p_kgtp_wiki_HOWTOCN_sys_kernel_debug_gtpframe]: http://code.google.com/p/kgtp/wiki/HOWTOCN#/sys/kernel/debug/gtpframe%E5%92%8C%E7%A6%BB%E7%BA%BF%E8%B0%83%E8%AF%95%EF%BC%89%E3%80%82
[HowToUseKGTPinAndroid]: http://code.google.com/p/kgtp/wiki/HowToUseKGTPinAndroid
[github-KGTP]: https://github.com/teawater/kgtp
[KGTP]: http://blog.csdn.net/djinglan/article/details/15335653
[KGTP_GDB_set trace-buffer-size_ - Week 5]: http://blog.csdn.net/calmdownba/article/details/38659317
[Perf -- Linux_ 1]: https://www.ibm.com/developerworks/cn/linux/l-cn-perf1/index.html
[perf Examples]: http://www.brendangregg.com/perf.html
[Performance analysis tools based on Linux perf_events _aka perf_ and ftrace]: https://github.com/brendangregg/perf-tools
[Perf]: http://blog.chinaunix.net/uid-10540984-id-3854969.html
[linux_perf]: http://blog.csdn.net/trochiluses/article/details/10261339
[perf]: http://www.cnblogs.com/helloworldtoyou/p/5585152.html
[Linux _LTTng]: http://www.open-open.com/lib/view/open1413946397247.html
[lttng]: http://blog.csdn.net/xsckernel/article/details/17794551
[LTTng and LTTng project]: http://blog.csdn.net/ganggexiongqi/article/details/6664331
[https_www.cnblogs.com_shineshqw_articles_2359114.html]: https://www.cnblogs.com/shineshqw/articles/2359114.html
[http_blog.csdn.net_bob_fly1984_article_details_51405856]: http://blog.csdn.net/bob_fly1984/article/details/51405856%C2%A0
[http_www.oschina.net_translate_dynamic-debug-howto_print]: http://www.oschina.net/translate/dynamic-debug-howto?print%C2%A0
[https_my.oschina.net_fgq611_blog_113249]: https://my.oschina.net/fgq611/blog/113249%C2%A0