一次线上环境YoungGC 停顿超长时间调优

叁歲伎倆 2024-02-19 08:46 21阅读 0赞

##  ##

**目录**

前言

一、检查监控

二、JVM 基础知识

相关概念

SurvivorRatio作用讲解

配置表

三、确认JVM配置

四、调整JVM配置

内置Tomcat 的配置

application.yml配置

Linux系统上安装Java

总结

--------------------

## 前言 ##

`今年双11，我们的埋点服务，收到了大量的服务超时告警，通过下面的监控图可以看到：超时量突然大面积增加，埋点接口的QPS达到1万，接口最大的响应时间到达12秒。以下是埋点服务的系统APM 监控信息。`

![8d41cc46febf43da801b4dbdbceb15ee.png][]

![36d44460dcfb489bbe9ff93904064a7a.png][]

--------------------

## **一、**检查监控 ##

收到告警后，我们第一时间查看了监控系统，立马发现了YoungGC耗时过长的异常。最长甚至达到了惊人的25秒多，GC次数也达到2K次以上。

![fb14bf2f7e4c4a5c8704be913dd9f6bb.png][]

由于YGC期间程序会Stop The World，埋点接口功能巨简单，就是根据事件给各个kafka发送消息。但埋点接口耗时达到了几百毫秒，

## 二、JVM 基础知识 ##

![4f04497d23a8460289dc613e1eea8c53.png][]

> JDK1.8中使用`jmap -heap pid`上面会出现`Parallel GC`

[root@VM-0-234-tencentos shushan-buried-point-data-server]# jmap -heap 1227606
    Attaching to process ID 1227606, please wait...
    Debugger attached successfully.
    Server compiler detected.
    JVM version is 25.372-b1
    
    using thread-local object allocation.
    Parallel GC with 4 thread(s)
    
    Heap Configuration:
       MinHeapFreeRatio         = 0
       MaxHeapFreeRatio         = 100
       MaxHeapSize              = 6442450944 (6144.0MB)
       NewSize                  = 3221225472 (3072.0MB)
       MaxNewSize               = 3221225472 (3072.0MB)
       OldSize                  = 3221225472 (3072.0MB)
       NewRatio                 = 4
       SurvivorRatio            = 4
       MetaspaceSize            = 536870912 (512.0MB)
       CompressedClassSpaceSize = 528482304 (504.0MB)
       MaxMetaspaceSize         = 536870912 (512.0MB)
       G1HeapRegionSize         = 0 (0.0MB)
    
    Heap Usage:
    PS Young Generation
    Eden Space:
       capacity = 3215982592 (3067.0MB)
       used     = 2450387456 (2336.87158203125MB)
       free     = 765595136 (730.12841796875MB)
       76.1940522344718% used
    From Space:
       capacity = 2621440 (2.5MB)
       used     = 1146880 (1.09375MB)
       free     = 1474560 (1.40625MB)
       43.75% used
    To Space:
       capacity = 2621440 (2.5MB)
       used     = 0 (0.0MB)
       free     = 2621440 (2.5MB)
       0.0% used
    PS Old Generation
       capacity = 3221225472 (3072.0MB)
       used     = 78196176 (74.57368469238281MB)
       free     = 3143029296 (2997.426315307617MB)
       2.4275287985801697% used
    
    37390 interned Strings occupying 4043824 bytes.
    [root@VM-0-234-tencentos shushan-buried-point-data-server]#

Parallel GC有两种组合

*  使用-XX:+UseParallelGC参数来启用Parallel Scavenge和PSMarkSweep(Serial Old)收集器组合进行垃圾收集。
 *  使用-XX:+UseParallelOldGC参数来启用Parallel scavenge和Parallel Old收集器组合收集。

### 相关概念 ###

*  吞吐量

程序运行的时间占总时间的比值。吞吐量=程序执行时间 / (程序执行时间 + 内存回收时间)

*  垃圾收集开销

吞吐量的补数。内存回收时间 / (程序执行时间 + 内存回收时间)

*  暂停时间

STW 。执行垃圾回收的时候程序暂停的时间

*  收集频率

相对于应用程序的执行，收集操作发生的频率

*  内存占用

堆内存占用的大小

*  快速

一个对象从诞生到被回收所经历的时间

一个[GC算法][GC]只可能针对吞吐量or暂停时间其中一个。在最大吞吐量优先的情况下，降低暂停时间。  
![8f6b35839e5b43afb69375c2a3dc5927.png][]

### SurvivorRatio作用讲解 ###

Java堆从GC的角度， 可以分为 新生代和老年代。  
新生代中可以分为伊甸园区（Eden区），From Survivor 区 （S0区）和 To Survivor 区 （S1区）。 占用的空间分别默认为 4：1：1

### ![b4a094c4654a45c3b07b7c9bc1af5cd7.png][] ###

> 年轻代（New generation） = eden + s0 + s1  
> 堆内存 = 年轻代 + 老年代（Old generation）  
> **JDK1.8以前：** JVM内存 = 栈内存 + 堆内存 + 永久代  
> **JDK1.8以后：** 由元空间取代了永久代，元空间并不在JVM中，而是使用本地内存。因此JVM内存 = 栈内存 + 堆内存

### 配置表 ###

![9d29756c17ce435fb01355301e8b6ff9.png][]

<table> 
 <thead> 
  <tr> 
   <th>参数名称</th> 
   <th>含义</th> 
   <th>默认值／备注</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-Xms</td> 
   <td>初始堆大小</td> 
   <td>物理内存的1/64(&lt;1GB) 默认(MinHeapFreeRatio参数可以调整)空余堆内存小于40%时，JVM就会增大堆直到-Xmx的最大限制</td> 
  </tr> 
  <tr> 
   <td>-Xmx</td> 
   <td>最大堆大小</td> 
   <td>物理内存的1/4(&lt;1GB) 默认(MaxHeapFreeRatio参数可以调整)空余堆内存大于70%时，JVM会减少堆直到 -Xms的最小限制</td> 
  </tr> 
  <tr> 
   <td>-Xmn</td> 
   <td>新生代大小(jdk 1.4或以上版本)</td> 
   <td>增大新生代后，将会减小老年代大小。此值对系统性能影响较大。Sun官方推荐配置为整个堆的3/8</td> 
  </tr> 
  <tr> 
   <td>-Xss</td> 
   <td>每个线程的堆栈大小</td> 
   <td>JDK5.0以后每个线程堆栈大小为1M，以前每个线程堆栈大小为256K，可以带 K, M 或 G单位</td> 
  </tr> 
  <tr> 
   <td>-XX:ThreadStackSize</td> 
   <td>同上</td> 
   <td>0代表使用默认值，不能带单位</td> 
  </tr> 
  <tr> 
   <td>-XX:PermSize</td> 
   <td>设置永久代初始值</td> 
   <td>物理内存的1/64</td> 
  </tr> 
  <tr> 
   <td>-XX:MaxPermSize</td> 
   <td>设置永久代最大值</td> 
   <td>物理内存的1/4</td> 
  </tr> 
  <tr> 
   <td>-XX:NewRatio</td> 
   <td>新生代(包括Eden和两个Survivor区)与老年代的比值(除去永久代)</td> 
   <td>-XX:NewRatio=4表示新生代与老年代所占比值为1:4，新生代占整个堆栈的1/5，Xms=Xmx并且设置了Xmn的情况下，该参数不需要进行设置。</td> 
  </tr> 
  <tr> 
   <td>-XX:SurvivorRatio</td> 
   <td>Eden区与Survivor区的大小比值</td> 
   <td>设置为8，则两个Survivor区与一个Eden区的比值为2:8,一个Survivor区占整个新生代的1/10</td> 
  </tr> 
  <tr> 
   <td>-XX:LargePageSizeInBytes</td> 
   <td>内存页的大小不可设置过大， 会影响Perm的大小</td> 
   <td>=128m</td> 
  </tr> 
  <tr> 
   <td>-XX:+UseFastAccessorMethods</td> 
   <td>原始类型的快速优化</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>-XX:+DisableExplicitGC</td> 
   <td>关闭System.gc()</td> 
   <td>这个参数需要严格的测试</td> 
  </tr> 
  <tr> 
   <td>-XX:MaxTenuringThreshold</td> 
   <td>垃圾最大年龄</td> 
   <td>如果设置为0的话，则新生代对象不经过Survivor区，直接进入老年代。对于老年代比较多的应用，可以提高效率。如果将此值设置为一个较大值，则新生代对象会在Survivor区进行多次复制，这样可以增加对象再新生代的存活时间，增加在新生代即被回收的概率，该参数只有在串行GC时才有效</td> 
  </tr> 
  <tr> 
   <td>-XX:+AggressiveOpts</td> 
   <td>垃圾最大年龄</td> 
   <td>如果设置为0的话，则新生代对象不经过Survivor区，直接进入老年代。对于老年代比较多的应用，可以提高效率。如果将此值设置为一个较大值，则新生代对象会在Survivor区进行多次复制，这样可以增加对象再新生代的存活时间，增加在新生代即被回收的概率，该参数只有在串行GC时才有效</td> 
  </tr> 
  <tr> 
   <td>-XX:PretenureSizeThreshold</td> 
   <td>对象超过多大是直接在老年代分配</td> 
   <td>新生代采用Parallel Scavenge GC时无效，另一种直接在老年代分配的情况是大的数组对象，且数组中无外部引用对象.</td> 
  </tr> 
  <tr> 
   <td>-XX:TLABWasteTargetPercent</td> 
   <td>TLAB占eden区的百分比</td> 
   <td>1%</td> 
  </tr> 
  <tr> 
   <td>-XX:+CollectGen0First</td> 
   <td>FullGC时是否先YGC</td> 
   <td>false</td> 
  </tr> 
  <tr> 
   <td>-XX:+UseParallelGC</td> 
   <td>Full GC采用parallel MSC</td> 
   <td>见[GC参数][1]</td> 
  </tr> 
  <tr> 
   <td>-XX:+UseParNewGC</td> 
   <td>设置新生代为并行收集</td> 
   <td>可与CMS收集同时使用，JDK 5.0以上，JVM会根据系统配置自行设置，所以无需再设置此值</td> 
  </tr> 
  <tr> 
   <td>-XX:ParallelGCThreads</td> 
   <td>并行收集器的线程数</td> 
   <td>此值最好配置与处理器数目相等，同样适用于CMS</td> 
  </tr> 
  <tr> 
   <td>-XX:+UseParallelOldGC</td> 
   <td>老年代垃圾收集方式为并行收集(Parallel Compacting)</td> 
   <td>这个是JAVA 6出现的参数选项</td> 
  </tr> 
  <tr> 
   <td>-XX:MaxGCPauseMillis</td> 
   <td>每次新生代垃圾回收的最长时间(最大暂停时间)</td> 
   <td>如果无法满足此时间，JVM会自动调整新生代大小，以满足此值.</td> 
  </tr> 
  <tr> 
   <td>-XX:+UseAdaptiveSizePolicy</td> 
   <td>自动选择新生代区大小和相应的Survivor区比例</td> 
   <td>设置此选项后，并行收集器会自动选择新生代区大小和相应的Survivor区比例，以达到目标系统规定的最低相应时间或者收集频率等，此值建议使用并行收集器时，一直打开</td> 
  </tr> 
  <tr> 
   <td>-XX:GCTimeRatio</td> 
   <td>设置垃圾回收时间占程序运行时间的百分比</td> 
   <td>公式为1/(1+n)</td> 
  </tr> 
  <tr> 
   <td>-XX:+ScavengeBeforeFullGC</td> 
   <td>Full GC前调用YGC</td> 
   <td>true</td> 
  </tr> 
  <tr> 
   <td>-XX:+UseConcMarkSweepGC</td> 
   <td>使用CMS内存收集</td> 
   <td>测试中配置这个以后， -XX:NewRatio=4的配置失效了，原因不明，所以此时新生代大小最好用-Xmn设置</td> 
  </tr> 
  <tr> 
   <td>-XX:+AggressiveHeap</td> 
   <td>试图是使用大量的物理内存</td> 
   <td>长时间大内存使用的优化，能检查计算资源（内存， 处理器数量，至少需要256MB内存</td> 
  </tr> 
  <tr> 
   <td>-XX:CMSFullGCsBeforeCompaction</td> 
   <td>多少次后进行内存压缩</td> 
   <td>由于并发收集器不对内存空间进行压缩，整理，所以运行一段时间以后会产生“碎片”，使得运行效率降低</td> 
  </tr> 
  <tr> 
   <td>-XX:+CMSParallelRemarkEnabled</td> 
   <td>降低标记停顿</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>-XX+UseCMSCompactAtFullCollection</td> 
   <td>在FullGC的时候对老年代的压缩</td> 
   <td>CMS是不会移动内存的， 因此这个非常容易产生碎片，导致内存不够用，因此内存的压缩这个时候就会被启用。增加这个参数是个好习惯。可能会影响性能，但是可以消除碎片</td> 
  </tr> 
  <tr> 
   <td>-XX:CMSInitiatingOccupancyFraction=70</td> 
   <td>使用cms作为垃圾回收使用70％后开始CMS收集</td> 
   <td>该值的设置需要满足以下公式CMSInitiatingOccupancyFraction计算公式</td> 
  </tr> 
  <tr> 
   <td>XX:CMSInitiatingPermOccupancyFraction</td> 
   <td>设置Perm Gen使用到达多少比率时触发</td> 
   <td>92</td> 
  </tr> 
  <tr> 
   <td>-XX:+CMSClassUnloadingEnabled</td> 
   <td>永久代CMS方式GC</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>-XX:+PrintGC</td> 
   <td>GC日志输出</td> 
   <td>和-verbose:gc一样</td> 
  </tr> 
  <tr> 
   <td>-XX:+PrintGCDetails</td> 
   <td>同上</td> 
   <td>更详细</td> 
  </tr> 
  <tr> 
   <td>-XX:+PrintGCTimeStamps</td> 
   <td>输出GC的时间戳</td> 
   <td>配合上述PrintGC参数使用，或者写成-XX:+PrintGC:PrintGCTimeStamps类似的</td> 
  </tr> 
  <tr> 
   <td>-XX:+PrintGC:PrintGCTimeStamps</td> 
   <td></td> 
   <td>可与-XX:+PrintGC -XX:+PrintGCDetails混合使用</td> 
  </tr> 
 </tbody> 
</table>

###  ###

## 三、确认JVM配置 ##

###  ###

> \-Xms6144m  
> \-Xmx6144m  
> \-Xmn3072m  
> \-XX:MetaspaceSize=512m  
> \-XX:MaxMetaspaceSize=512m  
> \-XX:CompressedClassSpaceSize=512m  
> \-XX:SurvivorRatio=8  
> \-XX:MaxTenuringThreshold=5  
> \-XX:GCTimeRatio=19  
> \-Xnoclassgc -XX:+DisableExplicitGC  
> \-XX:+UseParNewGC  
> \-XX:+UseConcMarkSweepGC  
> \-XX:+UseCMSCompactAtFullCollection  
> \-XX:CMSFullGCsBeforeCompaction=0  
> \-XX:-CMSParallelRemarkEnabled  
> \-XX:CMSInitiatingOccupancyFraction=70  
> \-XX:SoftRefLRUPolicyMSPerMB=0  
> \-XX:+PrintClassHistogram -XX:+PrintGCDetails  
> \-XX:+PrintGCDateStamps  
> \-XX:+PrintHeapAtGC  
> \-Xloggc:/opt/logs/gc.log  
> \-Dlog4j2.formatMsgNoLookups=true

可以看到堆内存为6G，新生代和老年代均为3G，新生代采用ParNew收集器，老年代采用ConcMarkSweepGC收集器。 对于和用户交互的互联网应用，ParNew 和 ConcMarkSweepGC的组合，可以达到低延迟。

![9fc950ed89ba48829ac23cc0995c2db8.png][]

## 四、调整JVM配置 ##

> \-Xms6144m  
> \-Xmx6144m  
> \-Xmn3072m  
> \-XX:MetaspaceSize=512m  
> \-XX:MaxMetaspaceSize=512m  
> \-XX:CompressedClassSpaceSize=512m  
> \-XX:NewRatio=4  
> \-XX:SurvivorRatio=4  
> \-XX:GCTimeRatio=19  
> \-XX:+UseParallelGC  
> \-XX:ParallelGCThreads=4  
> \-XX:+UseParallelOldGC

调整JVM参数，新生代采用UseParallelGC收集器，老年代采用UseParallelOldGC收集器。ParallelGC和ParallelOldGC组合，适用于后台work 和 消息消费的应用。 JVM监控数据如下，发现GC的平均次数和GC平均耗时下降巨大。

![93980cd4c5b546a48aadd0d2fe9cb58a.png][]

*  UseParNewGC：并发串行收集器，它是工作在新生代的垃圾收集器，它只是将串行收集器多线程化，除了这个并没有太多创新之处，而且它们共用了相当多的代码。它与串行收集器一样，也是独占式收集器，在收集过程中，应用程序会全部暂停。但它却是许多运行在Server模式下的虚拟机中首选的新生代收集器，其中有一个与性能无关但很重要的原因是，除了Serial收集器外，目前只有它能与CMS收集器配合工作。
 *  UseParallelGC：并行收集器，同时运行在多个cpu之间，物理上的并行收集器，跟上面的收集器一样也是独占式的，但是它最大化的提高程序吞吐量，同时缩短程序停顿时间，另外它不能与CMS收集器配合工作。

调整后，总吞吐量和平均响应时间性能都要明显的提升。

![285af35466874736ba1161199147b1fd.png][]

![69cf3027122644e09fbd32600e8aa358.png][]

昨天接口平均响应时间最大8s，今天的数据基本在30ms内

## 内置Tomcat 的配置 ##

通过application.yml 完成配置

配置和ServerProperties.java 关联, 通过查看源码得知有哪些属性配置

##### application.yml配置 #####

> server:  
> \#配置端口  
> port: 8085  
> tomcat: \#对tomcat配置  
> threads:  
> max: 800 \#最大的工作线程， 默认是200  
> min-spare: 300 \#最小工作线程, 默认是10  
> accept-count: 800 \#tomcat启动的线程达到最大值, 接受排队的请求个数,默认100  
> max-connections: 2000 \#最大连接数, 并发数  
> connection-timeout: 1300 \#建立连接的超时时间, 单位是毫秒

## Linux系统上安装Java ##

> tar -zxvf jdk-8u211-linux-x64.tar.gz

需要配置环境变量。首先，需要打开系统的环境变量文件，一般来说，是“/etc/profile”，打开后，在文件末尾加入如下内容：

> vi /etc/profile

> export JAVA\_HOME=/usr/lib/jvm/jdk1.8.0\_211  
> export JRE\_HOME=$\{JAVA\_HOME\}/jre  
> export CLASSPATH=.:$\{JAVA\_HOME\}/lib:$\{JRE\_HOME\}/lib  
> export PATH=$\{JAVA\_HOME\}/bin:$PATH

最后，需要使用“source /etc/profile”命令来更新环境变量，使得新的环境变量生效，然后就可以使用“java -version”命令来检查是否安装成功，如果显示出正确的版本，则表示安装成功。

--------------------

## 总结 ##

[JAVA系列之JVM内存调优 - 知乎][JAVA_JVM_ -]

[「Java」 - JVM & JVM参数及调优实战 - 知乎][Java_ - JVM _ JVM_ -]

[oom！该懂的都懂 - 知乎][oom_ -]

[每秒 10 万并发的 BI 系统如何频繁发生 Young GC？ - 知乎][10 _ BI _ Young GC_ -]

[8d41cc46febf43da801b4dbdbceb15ee.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/365b4c019f554a65aa1505cbb41be262.png
[36d44460dcfb489bbe9ff93904064a7a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/18216231b5244476bdf01c910f2665c7.png
[fb14bf2f7e4c4a5c8704be913dd9f6bb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/c9d6db6cce0f4b7b82dd582c84a7dd92.png
[4f04497d23a8460289dc613e1eea8c53.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/5540c9d609fb474482c3e64581805921.png
[GC]: https://so.csdn.net/so/search?q=GC%E7%AE%97%E6%B3%95&spm=1001.2101.3001.7020
[8f6b35839e5b43afb69375c2a3dc5927.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/6e113af0aa8d43739d301567a0ed32b7.png
[b4a094c4654a45c3b07b7c9bc1af5cd7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/51a7098e7c6344db9ce0944ba6773867.png
[9d29756c17ce435fb01355301e8b6ff9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/4533317a94da4452810d2b3bedb2d293.png
[9fc950ed89ba48829ac23cc0995c2db8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/b46d70b8c8e540e39ed8d5884ab1745e.png
[93980cd4c5b546a48aadd0d2fe9cb58a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/7c6f2044ca754524a56d5425227befcc.png
[285af35466874736ba1161199147b1fd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/0d5f62686517449caf9f94af711d1685.png
[69cf3027122644e09fbd32600e8aa358.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/bc5d9075da5f474d8e476fee35aff9ab.png
[JAVA_JVM_ -]: https://zhuanlan.zhihu.com/p/648516314
[Java_ - JVM _ JVM_ -]: https://zhuanlan.zhihu.com/p/74819730?utm_id=0
[oom_ -]: https://zhuanlan.zhihu.com/p/593932449
[10 _ BI _ Young GC_ -]: https://zhuanlan.zhihu.com/p/428546594?utm_id=0