生产环境 JVM cpu超高的问题查询及解决，内存飙升的问题查询，记录

小鱼儿 2023-07-11 06:28 19阅读 0赞

我们的项目上线了两年了， 我之前也写了两篇生产环境的bug的记录文章，  在解决查询出的问题后，稳定了2100个小时。

现在出现了cpu飙升的问题， 和内存飙升的问题。

现在将过程记录。

下图为问题状状况：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70][]

1：cpu问题查找及解决：

1.1：  top命令查询出cpu占用高的进程

查询出cpu占用高的进程。
    top

查询结果如下图红色框框标记的内容。 cpu 241

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70 1][]

1.2: 查询该进程中cpu占用高的线程。

使用如下命令找出cpu占用率最高的线程
    top  -Hp   上一步查询出的进程ID
    
    
    top  -Hp  111653

查询结果如下所示，  cpu26.4的使用率 ，有很多，要观察。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70 2][]

1.3:  将上一步的线程ID 113236 转为 十六进制

使用如下命令将线程ID转为16禁止
    printf “%x\n” 113236
    
    得到1ba54

![20200304191344235.png][]

1.4:  查询该线程的代码：为图下红色框框标记的代码： myEventExecutor-41,

使用如下命令查询：

jstack 进程ID  | grep 线程ID十六进制
    
    
    jstack  111653 | grep 1ba54

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70 3][]

1.5： 在代码中全局搜索该代码： 找到代码发现是一个定时任务的线程池， 线程数偏低， 将线程数调高，升级后在观察。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70 4][]

2： 内存问题： java  VisualVM 导出堆 Dump文件

使用 Memory Analyzer 工具进行dump文件的分析，

Memory Analyzer 大概介绍：[https://cloud.tencent.com/developer/article/1515696][https_cloud.tencent.com_developer_article_1515696]

实际的dump文件导出来就1.8G， 所以上一次平台组解决的内存问题没有完成彻底的解决。

这个问题存在底层框架中，这个问题在我前面的： [https://blog.csdn.net/tang\_jian\_dong/article/details/86479575][https_blog.csdn.net_tang_jian_dong_article_details_86479575] 这篇文章中有说明，也是ehcache这个类， 平台组优化了一次， 现在看来没有彻底的解决。

所以内存问题就反馈给平台组解决了。

这个问题是由于底层框架中有一个ConcurrentHashMap存储的字符串变量移除效率不高的原因导致。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70 5][]

实时内存查看：

jmap -histo:live 进程PID| more
    
    
     jmap -histo:live 111653 | more

查出使用率高的类型

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70 6][]

class name是对象类型，说明如下：

B byte  
C char  
D double  
F float  
I int  
J long  
Z boolean  
\[ 数组，如\[I表示int\[\]  
\[L+类名 其他对象

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200304190455746.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/202003041907229.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200304191030594.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n,size_16,color_FFFFFF,t_70
[20200304191344235.png]: https://img-blog.csdnimg.cn/20200304191344235.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200304191456617.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200304191559622.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n,size_16,color_FFFFFF,t_70
[https_cloud.tencent.com_developer_article_1515696]: https://cloud.tencent.com/developer/article/1515696
[https_blog.csdn.net_tang_jian_dong_article_details_86479575]: https://blog.csdn.net/tang_jian_dong/article/details/86479575
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200304191952522.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200304194144447.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n,size_16,color_FFFFFF,t_70