JVM致命错误日志(hs_err_pid.log)分析

爱被打了一巴掌 2022-02-13 13:13 299阅读 0赞

致命错误出现的时候，JVM 生成了 hs\_err\_pid<pid>.log 这样的文件，其中往往包含了虚拟机崩溃原因的重要信息。因为经常遇到，在这篇文章里，我挑选了一个，并且逐段分析它包含的内容（文件可以在文章最后下载）。默认情况下文件是创建在工作目录下的（如果没权限创建的话 JVM 会尝试把文件写到/tmp 这样的临时目录下面去），当然，文件格式和路径也可以通过参数指定，比如：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>java -</code><code>XX</code><code>:ErrorFile=/var/log/java/java_error%p.log</code> </td> 
 </tr> 
 </tbody> 
</table>

这个文件将包括：

*  触发致命错误的操作异常或者信号；
 *  版本和配置信息；
 *  触发致命异常的线程详细信息和线程栈；
 *  当前运行的线程列表和它们的状态；
 *  堆的总括信息；
 *  加载的本地库；
 *  命令行参数；
 *  环境变量；
 *  操作系统 CPU 的详细信息。

首先，看到的是对问题的概要介绍：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>#&nbsp; SIGSEGV (0xb) at pc=0x03568cf4, pid=16819, tid=3073346448</code> </td> 
 </tr> 
 </tbody> 
</table>

一个非预期的错误被 JRE 检测到，其中：

*  SIGSEGV 是信号名称
 *  0xb 是信号码
 *  pc=0x03568cf4 指的是程序计数器的值
 *  pid=16819 是进程号
 *  tid=3073346448 是线程号

如果你对 JVM 有了解，应该不会对这些东西陌生。

接下来是 JRE 和 JVM 的版本信息：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 </td> 
 <td> <code># JRE version: 6.0_32-b05</code> &nbsp; <code># Java VM: Java HotSpot(TM) Server VM (20.7-b02 mixed mode linux-x86 )</code> </td> 
 </tr> 
 </tbody> 
</table>

运行在 mixed 模式下。

然后是问题帧的信息：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 </td> 
 <td> <code># Problematic frame:</code> &nbsp; <code># C&nbsp; [libgtk-x11-2.0.so.0+0x19fcf4]&nbsp; __float128+0x19fcf4</code> </td> 
 </tr> 
 </tbody> 
</table>

*  C：帧类型为本地帧，帧的类型包括：
    
     *  C：本地 C 帧
     *  j：解释的 Java 帧
     *  V：虚拟机帧
     *  v：虚拟机生成的存根栈帧
     *  J：其他帧类型，包括编译后的 Java 帧
 *  libgtk-x11-2.0.so.0+0x19fcf4：和程序计数器（pc）表达的含义一样，但是用的是本地 so 库+偏移量的方式。

接下去第一部分是线程信息：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>Current thread (0x09f30c00):&nbsp; JavaThread </code><code>"main"</code> <code>[_thread_in_native, id=</code><code>16822</code><code>, stack(0xb72a8000,0xb72f9000)]</code> </td> 
 </tr> 
 </tbody> 
</table>

当前线程的：

*  0x09f30c00：指针
 *  JavaThread：线程类型，可能的类型包括：
    
     *  JavaThread
     *  VMThread
     *  CompilerThread
     *  GCTaskThread
     *  WatcherThread
     *  ConcurrentMarkSweepThread
 *  main：名字
    
     *  \_thread\_in\_native：线程当前状态，状态枚举包括：
     *  \_thread\_uninitialized：线程还没有创建，它只在内存原因崩溃的时候才出现
     *  \_thread\_new：线程已经被创建，但是还没有启动
     *  \_thread\_in\_native：线程正在执行本地代码，一般这种情况很可能是本地代码有问题
     *  \_thread\_in\_vm：线程正在执行虚拟机代码
     *  \_thread\_in\_Java：线程正在执行解释或者编译后的 Java 代码
     *  \_thread\_blocked：线程处于阻塞状态
     *  …\_trans：以\_trans 结尾，线程正处于要切换到其它状态的中间状态
 *  id=16822：线程 ID
 *  0xb72a8000,0xb72f9000：栈区间

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>siginfo</code><code>:si_signo</code><code>=</code><code>SIGSEGV</code><code>: si_errno=</code><code>0</code><code>, si_code=</code><code>1</code> <code>(</code><code>SEGV_MAPERR</code><code>), si_addr=0x00000010</code> </td> 
 </tr> 
 </tbody> 
</table>

这部分是导致虚拟机终止的非预期的信号信息，含义前面已经大致提到过了。其中 si\_errno 和 si\_code 是 Linux 下用来鉴别异常的，Windows 下是一个 ExceptionCode。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 </td> 
 <td> <code>EAX</code><code>=0x00000000, </code><code>EBX</code><code>=0x0375dd84, </code><code>ECX</code><code>=0x00000000, </code><code>EDX</code><code>=0x00000000</code> <code>ESP</code><code>=0xb72f0fa0, </code><code>EBP</code><code>=0xb72f0fb8, </code><code>ESI</code><code>=0x00000000, </code><code>EDI</code><code>=0x0a6c1800</code> <code>EIP</code><code>=0x03568cf4, </code><code>EFLAGS</code><code>=0x00010246, </code><code>CR2</code><code>=0x00000010</code> </td> 
 </tr> 
 </tbody> 
</table>

这是寄存器上下文。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 </td> 
 <td> <code>Top of Stack: (sp=0xb72f0fa0)</code> <code>0xb72f0fa0:&nbsp;&nbsp; </code><code>00000000</code> <code>00402250</code> <code>0040217f 0375dd84</code> <code>0xb72f0fb0:&nbsp;&nbsp; </code><code>00000000</code> <code>0a6c1800 b72f0fe8 0356c2c0</code> <code>0xb72f0fc0:&nbsp;&nbsp; </code><code>00000000</code> <code>0a6c1800 b72f0fe8 003b3e77</code> <code>0xb72f0fd0:&nbsp;&nbsp; 003e6c8b 0a1a70d0 0a193358 0375dd84</code> <code>0xb72f0fe0:&nbsp;&nbsp; 0a276418 0a276418 b72f1048 03536c56</code> <code>0xb72f0ff0:&nbsp;&nbsp; 0acad000 0b3ca978 0000000c 00dd0674</code> <code>0xb72f1000:&nbsp;&nbsp; </code><code>00000003</code> <code>0a2c7d50 b72f1038 0000330c</code> <code>0xb72f1010:&nbsp;&nbsp; ffffffff ffffffff </code><code>00000001</code> <code>00000001</code> &nbsp; <code>Instructions: (pc=0x03568cf4)</code> <code>0x03568cd4:&nbsp;&nbsp; </code><code>89</code> <code>14</code> <code>24</code> <code>89</code> <code>75</code> <code>f8 </code><code>89</code> <code>d6 </code><code>89</code> <code>7d fc </code><code>89</code> <code>c7 e8 7e 1b</code> <code>0x03568ce4:&nbsp;&nbsp; ea ff </code><code>89</code> <code>34</code> <code>24</code> <code>89</code> <code>87</code> <code>d4 </code><code>02</code> <code>00</code> <code>00</code> <code>e8 </code><code>30</code> <code>00</code> <code>ea ff</code> <code>0x03568cf4:&nbsp;&nbsp; 8b </code><code>40</code> <code>10</code> <code>89</code> <code>3c </code><code>24</code> <code>c7 </code><code>44</code> <code>24</code> <code>08</code> <code>00</code> <code>00</code> <code>00</code> <code>00</code> <code>89</code> <code>87</code> <code>0x03568d04:&nbsp;&nbsp; d0 </code><code>02</code> <code>00</code> <code>00</code> <code>8b </code><code>83</code> <code>88</code> <code>24</code> <code>00</code> <code>00</code> <code>89</code> <code>44</code> <code>24</code> <code>04</code> <code>e8 dd</code> </td> 
 </tr> 
 </tbody> 
</table>

栈顶程序计数器旁的操作码，它们可以被反汇编成系统崩溃前执行的指令。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 </td> 
 <td> <code>Register to memory mapping:</code> &nbsp; <code>EAX=0x00000000 </code><code>is</code> <code>an unknown value</code> <code>EBX=0x0375dd84: &lt;offset 0x394d84&gt; </code><code>in</code> <code>/usr/lib/libgtk-x11-2.0.so.0 at 0x033c9000</code> <code>ECX=0x00000000 </code><code>is</code> <code>an unknown value</code> <code>EDX=0x00000000 </code><code>is</code> <code>an unknown value</code> <code>ESP=0xb72f0fa0 </code><code>is</code> <code>pointing </code><code>into</code> <code>the stack </code><code>for</code> <code>thread: 0x09f30c00</code> <code>EBP=0xb72f0fb8 </code><code>is</code> <code>pointing </code><code>into</code> <code>the stack </code><code>for</code> <code>thread: 0x09f30c00</code> <code>ESI=0x00000000 </code><code>is</code> <code>an unknown value</code> <code>EDI=0x0a6c1800 </code><code>is</code> <code>an unknown value</code> </td> 
 </tr> 
 </tbody> 
</table>

寄存器和内存映射信息。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 </td> 
 <td> <code>Stack: [0xb72a8000,0xb72f9000],&nbsp; sp=0xb72f0fa0,&nbsp; free space=291k</code> <code>Native frames: (</code><code>J</code><code>=compiled Java code, j=interpreted, Vv=</code><code>VM</code> <code>code, </code><code>C</code><code>=native code)</code> <code>C</code>&nbsp; <code>[libgtk-x11-</code><code>2</code><code>.</code><code>0</code><code>.so.</code><code>0</code><code>+0x19fcf4]&nbsp; __float128+0x19fcf4</code> <code>C</code>&nbsp; <code>[libgtk-x11-</code><code>2</code><code>.</code><code>0</code><code>.so.</code><code>0</code><code>+0x1a32c0]&nbsp; __float128+0xc0</code> <code>... ...</code> <code>C</code>&nbsp; <code>[libswt-pi-gtk-</code><code>3738</code><code>.so+0x33f6a]&nbsp; Java_org_eclipse_swt_internal_gtk_OS__1Call+0xf</code> <code>J</code>&nbsp; <code>org.eclipse.swt.internal.gtk.</code><code>OS</code><code>._Call(</code><code>III</code><code>)</code><code>I</code> <code>J</code>&nbsp; <code>org.eclipse.swt.internal.gtk.</code><code>OS</code><code>.Call(</code><code>III</code><code>)</code><code>I</code> &nbsp; <code>Java frames: (</code><code>J</code><code>=compiled Java code, j=interpreted, Vv=</code><code>VM</code> <code>code)</code> <code>J</code>&nbsp; <code>org.eclipse.swt.internal.gtk.</code><code>OS</code><code>._Call(</code><code>III</code><code>)</code><code>I</code> <code>J</code>&nbsp; <code>org.eclipse.swt.internal.gtk.</code><code>OS</code><code>.Call(</code><code>III</code><code>)</code><code>I</code> <code>j&nbsp; org.eclipse.swt.widgets.Widget.fixedSizeAllocateProc(</code><code>II</code><code>)</code><code>I</code><code>+</code><code>5</code> <code>j&nbsp; org.eclipse.swt.widgets.Display.fixedSizeAllocateProc(</code><code>II</code><code>)</code><code>I</code><code>+</code><code>17</code> <code>v&nbsp; ~StubRoutines:</code><code>:call_stub</code> <code>... ...</code> </td> 
 </tr> 
 </tbody> 
</table>

线程栈。包含了地址、栈顶、栈计数器和线程尚未使用的栈信息，由于栈可能非常长，打印的长度有限制，但是至少本地栈和 Java 栈都打印出来了（很多时候本地栈打印不出来，但是 Java 栈一般都能打印出来）。从中可以看到，Eclipse 的虚拟机崩溃了。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 </td> 
 <td> <code>Java Threads: ( =&gt; current thread )</code> <code>&nbsp;&nbsp;</code><code>0x0b4c1000 JavaThread </code><code>"Worker-247"</code> <code>[_thread_blocked, id=</code><code>25417</code><code>, stack(0x741bc000,0x7420d000)]</code> <code>&nbsp;&nbsp;</code><code>0x0a300c00 JavaThread </code><code>"Worker-246"</code> <code>[_thread_blocked, id=</code><code>25235</code><code>, stack(0x7d30c000,0x7d35d000)]</code> <code>... ...</code> </td> 
 </tr> 
 </tbody> 
</table>

线程信息。一目了然，不解释了。

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>VM</code> <code>state</code><code>:not</code> <code>at safepoint (normal execution)</code> </td> 
 </tr> 
 </tbody> 
</table>

虚拟机状态。包括：

*  not at a safepoint：正常运行状态；
 *  at safepoint：所有线程都因为虚拟机等待状态而阻塞，等待一个虚拟机操作完成；
 *  synchronizing：一个特殊的虚拟机操作，要求虚拟机内的其它线程保持等待状态。

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>VM</code> <code>Mutex/Monitor currently owned by a thread: None</code> </td> 
 </tr> 
 </tbody> 
</table>

虚拟机的 Mutex 和 Monitor 目前没有被线程持有。Mutex 是虚拟机内部的锁，而 Monitor 则关联到了 Java 对象。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 </td> 
 <td> <code>Heap</code> <code>&nbsp;</code><code>PSYoungGen&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; total </code><code>149056K</code><code>, used </code><code>125317K</code> <code>[0xa9700000, 0xb41a0000, 0xb41a0000)</code> <code>&nbsp;&nbsp;</code><code>eden space </code><code>123520K</code><code>, </code><code>95</code><code>% used [0xa9700000,0xb0ac0de0,0xb0fa0000)</code> <code>&nbsp;&nbsp;</code><code>from space </code><code>25536K</code><code>, </code><code>26</code><code>% used [0xb28b0000,0xb2f50748,0xb41a0000)</code> <code>&nbsp;&nbsp;</code><code>to&nbsp;&nbsp; space </code><code>25600K</code><code>, </code><code>0</code><code>% used [0xb0fa0000,0xb0fa0000,0xb28a0000)</code> <code>&nbsp;</code><code>PSOldGen&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; total </code><code>261248K</code><code>, used </code><code>239964K</code> <code>[0x941a0000, 0xa40c0000, 0xa9700000)</code> <code>&nbsp;&nbsp;</code><code>object space </code><code>261248K</code><code>, </code><code>91</code><code>% used [0x941a0000,0xa2bf7018,0xa40c0000)</code> <code>&nbsp;</code><code>PSPermGen&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; total </code><code>163328K</code><code>, used </code><code>130819K</code> <code>[0x841a0000, 0x8e120000, 0x941a0000)</code> <code>&nbsp;&nbsp;</code><code>object space </code><code>163328K</code><code>, </code><code>80</code><code>% used [0x841a0000,0x8c160c40,0x8e120000)</code> </td> 
 </tr> 
 </tbody> 
</table>

堆信息。新生代、老生代、永久代。对 JVM 有了解的人应该都清楚，不解释了。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 </td> 
 <td> <code>Code Cache&nbsp; [0xb4262000, 0xb5ac2000, 0xb7262000)</code> <code>&nbsp;</code><code>total_blobs=</code><code>5795</code> <code>nmethods=</code><code>5534</code> <code>adapters=</code><code>209</code> <code>free_code_cache=</code><code>25103616</code> <code>largest_free_block=</code><code>38336</code> </td> 
 </tr> 
 </tbody> 
</table>

代码缓存（Code Cache）。这是一块用于编译和保存本地代码的内存，注意是本地代码，它和 PermGen（永久代）是不一样的，永久带是用来存放 Java 类定义的。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 </td> 
 <td> <code>Dynamic libraries:</code> <code>00101000-00122000 r-xp 00000000 08:01 3483560&nbsp;&nbsp;&nbsp; /usr/lib/libjpeg.so.62.0.0</code> <code>00122000-00123000 rwxp 00020000 08:01 3483560&nbsp;&nbsp;&nbsp; /usr/lib/libjpeg.so.62.0.0</code> <code>00125000-00130000 r-xp 00000000 08:01 9093202&nbsp;&nbsp;&nbsp; /lib/libgcc_s-4.1.2-20080825.so.1</code> <code>00130000-00131000 rwxp 0000a000 08:01 9093202&nbsp;&nbsp;&nbsp; /lib/libgcc_s-4.1.2-20080825.so.1</code> <code>... ...</code> </td> 
 </tr> 
 </tbody> 
</table>

内存映射。这些信息是虚拟机崩溃时的虚拟内存列表区域。在定位崩溃原因的时候，它可以告诉你哪些类库正在被使用，位置在哪里，还有堆栈和守护页信息。就以列表中第一条为例说明：

*  00101000-00122000：内存区域
 *  r-xp：权限，r/w/x/p/s 分别表示读/写/执行/私有/共享
 *  00000000：文件内的偏移量
 *  08:01：文件位置的 majorID 和 minorID
 *  3483560：索引节点号
 *  /usr/lib/libjpeg.so.62.0.0：文件位置

每一个 lib 都有两块虚拟内存区域—— 代码和数据，它们的权限不同，代码区域是 r-xp；数据区域是 rwxp。守护页（guard page）由权限为–xp 和 rwxp 的一对组成。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 </td> 
 <td> <code>VM</code> <code>Arguments:</code> <code>jvm_args: -Dosgi.requiredJavaVersion=</code><code>1</code><code>.</code><code>5</code> <code>-</code><code>XX</code><code>:MaxPermSize=256m -Xms40m -Xmx512m -Dorg.eclipse.swt.browser.XULRunnerPath=</code><code>''</code> <code>java_command: /.../eclipse/plugins/org.eclipse.equinox.launcher_1.</code><code>2</code><code>.</code><code>0</code><code>.v20110502.jar -os linux -ws gtk -arch x86 -showsplash -launcher /.../eclipse/eclipse -name Eclipse ...</code> <code>Launcher Type: </code><code>SUN_STANDARD</code> &nbsp; <code>Environment Variables:</code> <code>PATH</code><code>=...</code> <code>DISPLAY</code><code>=:</code><code>0</code><code>.</code><code>0</code> </td> 
 </tr> 
 </tbody> 
</table>

虚拟机参数和环境变量。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 </td> 
 <td> <code>Signal Handlers:</code> <code>SIGSEGV</code><code>: [libjvm.so+0x726440], sa_mask[</code><code>0</code><code>]=0x7ffbfeff, sa_flags=0x10000004</code> <code>SIGBUS</code><code>: [libjvm.so+0x726440], sa_mask[</code><code>0</code><code>]=0x7ffbfeff, sa_flags=0x10000004</code> <code>... ...</code> </td> 
 </tr> 
 </tbody> 
</table>

信号句柄。对于 Linux 下的信号机制，参阅 wiki 百科， [链接][Link 1] 。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 </td> 
 <td> <code>OS:Red Hat Enterprise Linux Client release 5.4 (Tikanga)</code> &nbsp; <code>uname:Linux 2.6.18-164.el5 #1 SMP Tue Aug 18 15:51:54 EDT 2009 i686</code> <code>libc:glibc 2.5 NPTL 2.5 </code> <code>rlimit: STACK 10240k, CORE 0k, NPROC 65536, NOFILE 1024, AS infinity</code> <code>load average:1.78 1.58 1.54</code> &nbsp; <code>/proc/meminfo:</code> <code>...</code> &nbsp; <code>CPU:total 4 (4 cores per cpu, 1 threads per core) family 6 model 42 stepping 7, cmov, cx8, fxsr, mmx, sse, sse2, sse3, ssse3</code> &nbsp; <code>/proc/cpuinfo:</code> <code>...</code> &nbsp; <code>Memory: 4k page, physical 3631860k(155144k free), swap 5124724k(5056452k free)</code> </td> 
 </tr> 
 </tbody> 
</table>

系统信息。

![70][]

感谢您的关注！可加QQ1群：135430763，QQ2群：454796847，QQ3群：187424846。QQ群进群密码：xttblog，想加微信群的朋友，可以微信搜索：xmtxtt，备注：“xttblog”，添加助理微信拉你进群。备注错误不会同意好友申请。再次感谢您的关注！后续有精彩内容会第一时间发给您！原创文章投稿请发送至532009913@qq.com邮箱。商务合作可添加助理微信进行沟通！

[Link 1]: http://en.wikipedia.org/wiki/C_signal_handling
[70]: /images/20220213/27feae84c225491a9a1864d93baa588e.png