生产环境Java应用服务内存泄漏分析与解决

缺乏、安全感 2023-09-24 23:30 51阅读 0赞

有个生产环境CRM业务应用服务，情况有些奇怪，监控数据显示内存异常。内存使用率99.%多。通过生产监控看板发现，CRM内存超配或内存泄漏的现象，下面分析一下这个问题过程记录。

**1、服务器硬件配置部署情况**

生产服务器采用阿里云ECS机器，配置是2HZ、8GB，单个应用服务独占，CRM应用独立部署，即单台服务器仅部署一个java应用服务。

用了6个节点6台机器，每台机器都差不多情况。

监控看板如下：

![5670c01b220572dfa58627b3f28ac7e2.png][]

top命令查看物理占用情况

![04357974beef2108478d47aa85f9f7a1.png][]

通过看板情况来看确实存在异常情况，下面进一步分析问题原因。

**2、应用启动参数配置**

应用启动配置参数如下：

/usr/bin/java

\-javaagent:/home/agent/skywalking-agent.jar

\-Dskywalking.agent.service\_name=xx-crm

\-XX:+HeapDumpOnOutOfMemoryError

\-XX:HeapDumpPath=/tmp/xx-crm.hprof

\-Dspring.profiles.active=prod

*-server -Xms4884m -Xmx4884m -Xmn3584m*

\-XX:MetaspaceSize=512m

\-XX:MaxMetaspaceSize=512m

\-XX:CompressedClassSpaceSize=128m

\-jar /home/xxs-crm.jar

**堆内：**最大最小堆内存*4884m约4.8G*左右，其中新生代*-Xmn3584m 约*3.5G左右，

**非堆：** 元数据区配置 512M，类压缩空间 128M, Code Cache、buffer等代码缓存区240M（没有配置参数，通过监控看板看到的）。

**3、内存分布统计**

从监控看板的数据来看，我们简单统计一下内存分配数据情况。

通过JVM配置参数和监控看板数据可知：

**堆内存：4.8G**

**非堆内存**：（Metaspace）512M+（CompressedClassSpace）128M+(Code Cache、Buffer等)240M约等1GB左右。

**堆内存(heap)+非堆内存（nonHeap）=5.8G**

8GB物理内存除去操作系统本身占用大概占500M。即除了操作系统本身占用之外，还有7.5G可用内存。

但是 **7.5-5.8=1.7GB，**起码至少还有1~2GB空闲才合理呀！怎么内存占用率99%多，就意味着有**1~2G**不知道谁占去了，有点诡异！

**4、问题分析**

先看一下JVM内存模型，环境是使用JDK8

JVM内存数据分区如下图所示：

![0a3833468c7ea2b49f4b797d5e355e55.png][]

堆heap分配结构如下图所示:

![29f4b4879b0d757ceb39a22cc7187ae7.png][]

堆大家都比较熟悉，也容易理解的，也是java程序接触得最多的一块，不存在什么数据上统计错误，或占用不算之类的。

那说明额外占用也非堆里面，只不过没有统计到非堆里面去，*曾经一度怀疑监控prometheus展示的数据有误*。

其实不是监控统计的问题，那是什么问题呢？

先看一下dump文件数据，这里使用MAT工具（一个开源免费的内存分析工具，个人认为比较好用，推荐大家使用。下载地址：https://www.eclipse.org/mat/downloads.php）。

通过下载内存dump镜像观察到，如下图所示：

![d4d387e619bfa83fa13fa14e644f1b6a.png][]

有个offHeapStore，这个东西堆外内存，可以初步判断是 **ehcahe**引起的。

通

[5670c01b220572dfa58627b3f28ac7e2.png]: https://img-blog.csdnimg.cn/img_convert/5670c01b220572dfa58627b3f28ac7e2.png
[04357974beef2108478d47aa85f9f7a1.png]: https://img-blog.csdnimg.cn/img_convert/04357974beef2108478d47aa85f9f7a1.png
[0a3833468c7ea2b49f4b797d5e355e55.png]: https://img-blog.csdnimg.cn/img_convert/0a3833468c7ea2b49f4b797d5e355e55.png
[29f4b4879b0d757ceb39a22cc7187ae7.png]: https://img-blog.csdnimg.cn/img_convert/29f4b4879b0d757ceb39a22cc7187ae7.png
[d4d387e619bfa83fa13fa14e644f1b6a.png]: https://img-blog.csdnimg.cn/img_convert/d4d387e619bfa83fa13fa14e644f1b6a.png