炫技！bug 排查大曝光，涉及Linux 内核的那种

蔚落 2022-11-04 00:57 74阅读 0赞

**那些编程高手除了写代码很厉害之外，调试代码找 bug 更是手到擒来**。

编写代码只是程序员的工作之一，调试代码的时间甚至会超过编写代码，之前为大家讲解了很多关于系统、架构、编程等方面的内容，这篇文章就为大家全方位展示一次涉及到内核的 bug 排查过程。

**发现问题**

话说一天公司服务器报警，登录到机器后发现进程已被“卡死”，常规 GDB 调试没有反应，查找 Log 也没有线索，问题似乎已经无解。

就在这时博主的脑海里浮现出了岛国的。。是的，你猜错了，是岛国的一休哥、柯南弟、国内的包青天、狄仁杰、国外的夏洛克等一众大佬，瞬间有如神助，一定还有办法！是的！

##### **分析问题** #####

先来仔细分析一下，既然进程看上去被卡死，那么如果被卡在用户态，那么该进程 CPU 使用率必然很高（死循环之类）；如果被卡在内核态，这时进程应该正在进行 IO 或者网络通信等，那么 CPU 使用率应该会很低，现在还能查到进程ID，有了进程ID运行 top 命令看一下：

![2b7cbe23f05451c1a3143b6c42aa1288.png][]

注意 CPU 那一列，显示 CPU 占用率为0%，我们发现此时该进程几乎没有占用CPU，这基本上是在告诉我们该进程是被卡死在内核态，进程要进入内核态那么就是因为调用了某个阻塞式系统调用导致被操作系统挂起，那么该怎么知道进程调用了什么系统调用呢？

##### **跟踪进程系统调用** #####

strace 命令就用来告诉你这个的，运行 strace 命令来查看一下此时进程调用了什么系统调用：

![60f1e415ff926366458251e5c79808d6.png][]

Oops！strace 命令也被卡死了，无奈，再想想还有其它什么办法。。

##### **跟踪进程用户态运行时栈** #####

有了，可以用 pstack 命令，该命令能打印出进程运行时栈信息，虽然该命令不能追踪到内核，但是可以看到用户态最终调用了什么函数，从而推断出调用了什么系统调用，让我们来运行一下：

![930e0b65156b7e1eedf03055ba7ad9fa.png][]

和strace一样，pstack 也被卡死了。

现在我们还能去哪里找线索呢？

##### **古老的ps命令永不过时** #####

我们可以利用 ps 命令来查看进程的运行状态和 WCHAN(waiting channel)。

WCHAN 是什么意思呢？

在 Linux 世界，有问题问男人（man），这就是万能的 man 命令，我们使用 man 命令来看一下 ps 展示内容的含义：

$ man ps

运行 man 命令并搜索“WCHAN”，啊哈！最终在“STANDARD FORMAT SPECIFIERS”这一部分中找到了 WCHAN 的含义，是这样写的：

![140523770eeba4116bb5405767eed700.png][]

这里清楚的写着 WCHAN 指的是当前进程正阻塞在哪个内核函数上。

OK，我们来运行一下 ps 命令：

![19f4325cefd1e8950dd7f5dd32076575.png][]

这里值得注意的是，因为 ps 打印的只是运行ps命令这一时刻相应进程的状态，也就是说运行一次 ps 相当于一次采样，因此你应该多运行几次ps，确保运行结果没有变化，否则只运行一次并且时间足够巧那么有可能会获得到一个错误的线索。

##### **两种进程阻塞状态** #####

从ps打印的结果可以看出，该进程运行状态是D，运行状态D表示什么意思呢？我们再次请教man，发现了这样的信息：

![7ed8ce9ad43537e707e258eb4cd0f100.png][]

原来进程运行状态D表示 uninterruptible sleep，不可被打断的 sleep，意思是说该进程正在睡觉，就算你拍它一巴掌也不会醒，即该进程当前不响应任何外部信号，此时哪怕 kill 命令都杀不掉该进程(除非内核允许该进程接收 kill 信号)，直观感受就是该进程被“卡死”了。

与不可被打断的 sleep 相对于的是可被打断 sleep，从上图看状态为S，此时进程正在阻塞等待某个事件(比如网络数据到来等等)，处于该状态的进程可以接收信号，直观感受就是该进程还有反应。

通过ps命令我们可以看到进程状态为D，进一步验证了进程确实被“卡死”了。

那么进程被卡死在了哪里呢？

幸运的是 WCHAN 这一列可以告诉你答案。

##### **进程阻塞在哪个内核函数上** #####

上面的ps命令 WCHAN 这一列显示的是 rpc\_wa，嗯。。rpc\_wa 什么呢？看上去是被截断了，不过没关系，我们可以从源头上找到 wchan 的完整输出，实际上ps等命令也是在这个源头上查找信息并展示出来的，这个源头就是 proc 文件系统，**proc 文件系统记录了内核以及各个进程的运行时信息**，我们可以使用最简单的 cat 命令，使用 proc 后跟进程ID以及wchan：

![8db01878b2fbc56aa660456648e7dc8e.png][]

啊哈，我们终于找到进程此时到底卡死在哪里了！

看起来该进程正在等待一个 RPC 调用，RPC 实际上就是一个进程正在和另一个进程网络通信，尽管我们知道了进程被卡死在了哪里，但是**我们依然不知道为什么会被卡死在这里**。

至此线索似乎中断了。。。

##### **柳暗花明** #####

让我们再仔细想一想。

既然进程被卡死了，那么此时进程必然没有位于用户态，不是用户态就肯定是内核态，那么进程怎样才能进入内核态呢？答案很显然是调用了某个系统调用。

那么我们该怎样知道某个进程当前正在调用哪个系统调用呢？

You are lucky dog，Say hi to /proc/\*\*\*/syscall，我们同样可以用简单的 cat 命令去 proc 文件系统中查找，使用/proc后跟进程ID+syscall即可。

![8d1a0cd82087d59467c9a955b88130d1.png][]

WTF。。。这是一串什么鬼东西！

原来这一串看起来不知所云的东西正是系统调用，第一个数字代表系统调用 ID，后面一堆是参数，我们可以不用关心。

从上面的输出我们可以看到调用的是第 262 号系统调用，只有一个数字是没什么意义的，这个数字到底代表那个系统调用呢？

##### **根据内核源码查系统调用** #####

要知道这个数字的含义，我们就需要参考内核代码了，一般在 Linux 系统中必要的内核头文件位于/usr/include目录，在博主 64 位 Linux 机器上，我找到了这个文件：

![df245d7fca5819351fde23d7fe192857.png][]

Gotyou！！！我们可以看到调用了 newfstatat 系统调用，这个系统调用有什么作用呢？让我们再一次问男人(man命令)：

$ man newfstatat

得到了这样的信息：

![9d98f68543950f60c3564a6d769d728d.png][]

啊哈！原来是fstatat，这是在读取文件的元信息。

现在我们已经知道了调用什么系统调用，可是一个新的问题再次出现，那就是我们为什么调用这个系统调用后最终会因为等待一个 rpc 被卡死呢？

显然我们需要调用栈信息来验证。

##### **跟踪内核运行时栈** #####

OOOOKey，是时候请出重量级工具了，这就是/proc/PID/stack，**通过简单的查看这个文件我们就能知道相应进程在内核中的调用栈****！！！**就问你 Linux 这种设计有没有很厉害，有没有！！！

![c5a1fb063df47245e0358db215f79df2.png][]

这个内核调用栈最终揭开了所有秘密。

##### **真相大白** #####

首先我们来看调用栈的栈顶，栈顶正是 ps 命令 WCHAN 那一列打印出来的，进程在内核中正是因为调用这个函数被卡死的。

![67fff17657ca88673db9c80be9a4d498.png][]

接下来我们从调用栈的最底层看，我们发现了系统调用，印证了正是进程调用这个系统调用而导致卡住的。

![f0c44a1aacee4b5c3dbcc83b31cf1e40.png][]

那么调用这个系统调用发生了什么呢？我们接着往上看，注意这几行：

![1d6f2da02e96ab1004fe10fb8d52b094.png][]

**Finally！！！**从调用栈中我们看到了一系列 NFS 相关的函数，NFS全称Network File System，也就是网络文件系统，我们平时挂载(mount)一个远程文件系统就是NFS来实现的，正是 NFS 进行网络通信才导致在 rpc 上等待，

从内核调用栈我们知道，进程在查询某个远程主机上文件的元数据时因网络问题导致被卡死。

通过这一线索我们最终锁定了出现问题的代码。

##### **总结** #####

本文为大家完整展示了一次 bug 的定位过程，可以看到 Linux 为我们提供了极为丰富的调试工具，当然这离不开 Linux 系统本身优秀的设计思想，**那就是将进程和内核的运行时信息通过文件系统提供出来**，这极大的方便了问题的排查与定位。

希望本文对大家理解 Linux 系统下问题 debug 有所帮助。

**关于留言：**博主的公众号目前还没有留言功能，有任何问题或者反馈，你可以添加我的个人微信 **coder\_saver** 。

最后的最后，如果觉得博主的文章对你有帮助的话，请多多**分享**、**转发**、**在看**。

**点击上方关注**

**精选**

[**看完这篇还不懂线程与线程池你来打我**][Link 1]

[**读取文件时，程序经历了什么？**][Link 2]

**[一文彻底理解I/O多路复用][I_O]**

[**从小白到高手，你需要理解同步与异步**][Link 3]

[**程序员应如何彻底理解回调函数**][Link 4]

**[高性能高并发服务器是如何实现的][Link 5]**

**[函数运行时在内存中是什么样子][Link 6]**

[**程序员应如何理解协程**][Link 7]

**[线程间到底共享了哪些进程资源？][Link 8]**

[**线程安全代码到底是怎么编写的？**][Link 9]

[**自己动手实现一个malloc内存分配器**][malloc]

**[高性能服务器内存池技术是如何实现的][Link 10]**

**[内存引发的 10 个大坑，你能躲开几个][10]**

[2b7cbe23f05451c1a3143b6c42aa1288.png]: /images/20221023/a0ed8a9e26d8406d9ecd7d4753f31fc3.png
[60f1e415ff926366458251e5c79808d6.png]: /images/20221023/84512fb12b464afdaf92ff486f3782ad.png
[930e0b65156b7e1eedf03055ba7ad9fa.png]: /images/20221023/1843578b30b24b768247461e7fcde336.png
[140523770eeba4116bb5405767eed700.png]: /images/20221023/2281073686d94930b7fe66df260da9f9.png
[19f4325cefd1e8950dd7f5dd32076575.png]: /images/20221023/fb56ff95d5db4b148daece67646e7302.png
[7ed8ce9ad43537e707e258eb4cd0f100.png]: /images/20221023/853a1871f3fd4c10864e29f2f24bb7fc.png
[8db01878b2fbc56aa660456648e7dc8e.png]: /images/20221023/8f71ae36bd1b458f8dcb66a8f2f5757d.png
[8d1a0cd82087d59467c9a955b88130d1.png]: /images/20221023/ef46984fbbc44b4e839a47d28b363265.png
[df245d7fca5819351fde23d7fe192857.png]: /images/20221023/1308c31b7edc42898fe06bf01ee77b89.png
[9d98f68543950f60c3564a6d769d728d.png]: /images/20221023/a5c18b9c3f054ea59c2a20e8874c2bf8.png
[c5a1fb063df47245e0358db215f79df2.png]: /images/20221023/fe4e681665414462b388ef0002ae9ffc.png
[67fff17657ca88673db9c80be9a4d498.png]: /images/20221023/ecafa041e0ea4b9695ca98d073c63912.png
[f0c44a1aacee4b5c3dbcc83b31cf1e40.png]: /images/20221023/c6f0ebd97f9349f8918aa94258a17cc4.png
[1d6f2da02e96ab1004fe10fb8d52b094.png]: /images/20221023/4ce7ede35f50474d9e974aa60af9f659.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU2NTYyOTQ4OQ%3D%3D&chksm=fcb9823ecbce0b28ca28d021e68c78138cde4a1b86ea7209c0c667d3d544d223d8b2aecbccec&idx=1&mid=2247484768&scene=21&sn=049db350af9e5eea5cf3523ceb83f447#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU2NTYyOTQ4OQ%3D%3D&chksm=fcb9822acbce0b3cba63913ff6de1e37c133b878f02035bc816f7f2ec8423d908bd8560d3605&idx=1&mid=2247484788&scene=21&sn=e2a084694bedf9b148bbcd5570747add#wechat_redirect
[I_O]: http://mp.weixin.qq.com/s?__biz=MzU2NTYyOTQ4OQ%3D%3D&chksm=fcb982c7cbce0bd1335595031ef2801cbae3b5fdbad67e9a0d953fa9337d5377aea22b069192&idx=1&mid=2247484825&scene=21&sn=0c2304dda01b698d2d461bd55185d9a2#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU2NTYyOTQ4OQ%3D%3D&chksm=fcb982edcbce0bfbb213afdb2f0996f11771b21b940b535171c5d974c6b0b882a9b8bb3ef192&idx=1&mid=2247484851&scene=21&sn=30d68a28f926b3e8b53f4d86e5630b60#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU2NTYyOTQ4OQ%3D%3D&chksm=fcb982aacbce0bbc5419c4329e160e3f9fce2103adaa3128e6f8138d9a8cd0e306fbe68f62f4&idx=1&mid=2247484916&scene=21&sn=6b19b4b3277ab0ecfffcf388a96f138a#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU2NTYyOTQ4OQ%3D%3D&chksm=fcb9815bcbce084de2823467d3ba9d3e835663a6bb69df1fc7f71677aef099584f93b0e01809&idx=1&mid=2247484933&scene=21&sn=c4112a54f5751f38e841baf3e3cc35bd#wechat_redirect
[Link 6]: http://mp.weixin.qq.com/s?__biz=MzU2NTYyOTQ4OQ%3D%3D&chksm=fcb9817dcbce086b10cb44cad7c9777b0088fb8d9d6baf71ae36a9b03e1f8ef5bec62b79d6f7&idx=1&mid=2247484963&scene=21&sn=542d3bec57c6a9dfc17c83005fd2c030#wechat_redirect
[Link 7]: http://mp.weixin.qq.com/s?__biz=MzU2NTYyOTQ4OQ%3D%3D&chksm=fcb98164cbce0872e0669f7299cd645146ad05837e4391c88554d18aea902334ee54a701945e&idx=1&mid=2247484986&scene=21&sn=80c673b4bb0ce7ae235db990ed6c2604#wechat_redirect
[Link 8]: http://mp.weixin.qq.com/s?__biz=MzU2NTYyOTQ4OQ%3D%3D&chksm=fcb981ddcbce08cb74b6ea9412720ce827231c2e67e57811dbfcaac78c0e7af55e0596b72a7f&idx=1&mid=2247485059&scene=21&sn=c798550fb3eda73c6f66440659bdcd8d#wechat_redirect
[Link 9]: http://mp.weixin.qq.com/s?__biz=MzU2NTYyOTQ4OQ%3D%3D&chksm=fcb981f8cbce08ee2b5d28faa5627ce8a1a8cf74f62c6b7c4e8db4ae3dd0f27b2796151a9272&idx=1&mid=2247485094&scene=21&sn=317bb31042c4432652a555ad91223541#wechat_redirect
[malloc]: http://mp.weixin.qq.com/s?__biz=MzU2NTYyOTQ4OQ%3D%3D&chksm=fcb981adcbce08bb39d120d7bfd097308371fb4b4e4369ba9502ae4e4243028b450bd0fe3110&idx=1&mid=2247485171&scene=21&sn=d93f2f5e9d61b00515c043776d2f7330#wechat_redirect
[Link 10]: http://mp.weixin.qq.com/s?__biz=MzU2NTYyOTQ4OQ%3D%3D&chksm=fcb98068cbce097e5ba683e21c2220815c31e55423609fbddd52827b2eefd9d32f64dcbce5c4&idx=1&mid=2247485238&scene=21&sn=3045631f80312535d2aa7694acf72d2e#wechat_redirect
[10]: http://mp.weixin.qq.com/s?__biz=MzU2NTYyOTQ4OQ%3D%3D&chksm=fcb9802acbce093c86941f74d3f15ac9c2f8e4b7bb8d1c65c4b199ae97552fc11cd3a29fcd54&idx=1&mid=2247485300&scene=21&sn=40677d5642da44e17fc08f4e782d60c0#wechat_redirect