同事线上埋的这个坑，我整整找了3天3夜

素颜马尾好姑娘i 2022-12-14 13:44 29阅读 0赞

点击上方“java大数据修炼之道”,选择“设为星标”

# 优质文章和精品资源, 第一时间送达![format_png][] #

![format_png 1][]

> 作者：Alan\_beijing
> 
> 来源：https://urlify.cn/jyYny2

对于线上系统调优，它本身是个技术活，不仅需要很强的技术实战能力，很强的问题定位，问题识别，问题排查能力，还需要很丰富的调优能力。

本篇文章从实战角度，从问题识别，问题定位，问题分析，提出解决方案，实施解决方案，监控调优后的解决方案和调优后的观察等角度来与大家一起交流分享本次线上高并发调优整个闭环过程。

**一、项目简要情况概述**

该项目为基于SSM架构的商城类单体架构项目，其中有一个秒杀重磅模块，如下为当前线上环境的简要架构部署图，大致描述一下：

(1)项目为SSM架构

(2)服务器类别：1台负载均衡服务器(F5),3台运用程序服务器，1台计时器服务器,1台redis服务器，1台图片服服务器和1台基于Pass架构的Mysql主从服务器(微软云)

(3)调用逻辑：下图为简要调用逻辑

![format_png 2][]

**二、何为单体架构项目**

从架构发展角度，软件项目经历了如下阶段的发展：

**1.单体架构：**可理解为传统的前后端未分离的架构

**2.垂直架构：**可理解为前后端分离架构

**3.SOA架构：**可理解为按服务类别，业务流量，服务间依赖关系等服务化的架构，如以前的单体架构ERP项目，划分为订单服务，采购服务，物料服务和销售服务等

**4.微服务：**可理解为一个个小型的项目，如之前的ERP大型项目，划分为订单服务(订单项目)，采购服务(采购项目)，物料服务(物料项目)和销售服务(销售项目)，以及服务之间调用

![format_png 3][]

**三、本SSM项目引发的线上问题**

**1.当秒杀的时候，cpu暴增**

该系统每天秒杀分为三个时间段：10点，13点和20点，如下为秒杀的简要页面

图1

![format_png 4][]

图2

![format_png 5][]

图3

![format_png 6][]

**2.单台运用服务器cpu **

![format_png 7][]

**3.单台运用服务器请求数**

![format_png 8][]

**4.rdis连接数（info clients）**

这个未保存截图，记得是600左右

connected\_clients:600

**5.mysql请求截图**

![format_png 9][]

**四、排查过程及分析**

**（一）排查思路**

根据服务部署和项目架构，从如下几个方面排查：

（1）运用服务器：排查内存，cpu,请求数等；

（2）文件图片服务器：排查内存，cpu,请求数等；

（3）计时器服务器：排查内存，cpu,请求数等；

（4）redis服务器：排查内存，cpu,连接数等；

（5）db服务器：排查内存，cpu,连接数等；

**（二）排查过程**

在秒杀后30分钟内，

1.运用程序服务器cpu暴增，内存暴增，造成cpu和内存暴增的根本原因是请求数过高，单台运用服务器达到3000多；

![format_png 8][]

2.redis请求超时

![format_png 10][]

3.jdbc连接超时

![format_png 11][]

4.通过gc查看，发现24小时内，FullGC发生了152次

![format_png 12][]

5.再看看堆栈，发现有一些线程阻塞和死锁

jstat -l pid，也可以通过VisualVM分析

![format_png 13][]

6.发现有2000多个线程请求无效资源

![format_png 14][]

**（三）造成本次系统异常主要因素分析**

(1)在秒杀时，请求量过高，导致运用服务器负载过高；

(2)redis连接池满，获取不到连接，connot get a connection from thread pool

(3)jdbc连接池满，获取不到连接和超时

(4)存在大对象代码，如向list集合中不停添加对象，不能及时回收对象导致内存增加，频繁发生Full GC

(5)tomcat并发参数，jvm优化参数，jedis配置参数，jdbc配置参数不合理

(6)未对请求量进行削峰和限流

(7)资源连接未及时释放，如redis连接，jdbc连接未及时释放

**五、最终解决方案**

**1.增加运用服务，做流量削峰和分流**

由于该项目未增加MQ，因此只能采用硬负载，增加服务器水平扩展方式来实现流量削峰和流量分流

![format_png 15][]

**2.优化jvm参数，如下为本次优化后的参数**

JAVA\_OPTS="-server -Xmx9g -Xms9g -Xmn3g -Xss500k -XX:+DisableExplicitGC -XX:MetaspaceSize=2048m -XX:MaxMetaspaceSize=2048m -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:LargePageSizeInBytes=128m -XX:+UseFastAccessorMethods -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -Dfile.encoding=UTF8 -Duser.timezone=GMT+08"

关于这个jvm参数的优化，jvm理论是怎样的，官方建议是怎样的，实战是怎样的，将在下篇文章中分析。

**3.优化tomcat并发相关参数**

主要是两方面：

(1)修改bio协议为nio2  (2)根据服务器配置，业务场景，业务流量等合理设置相关参数，尽量达到最优

![format_png 16][]

关于tomcat相关参数优化，在接下来的文章中分析。

**4.redis 和jdbc参数优化**

由于涉及到安全性问题，这里不列出

**5.代码优化**

(1)优化掉大对象

(2)优化未及时释放的对象和连接资源

**6.解决000多个线程请求无效资源问题**

在conf/context.xml增大缓存

<Resource

cachingAllowed = "true"

cacheMaxSize = "102400"

**六、最终优化结果**

经过几天观察，系统平稳

**1.基本监控**

![format_png 17][]

**2.GC**

![format_png 18][]

**3.抽样器cou和内存**

cpu

![format_png 19][]

内存

![format_png 20][]

**七、总结**

1.本篇文章从实战角度，从问题识别，问题定位，问题分析，提出解决方案，实施解决方案，监控调优后的解决方案和调优后的观察等角度来与大家一起交流分享本次线上高并发调优整个闭环过程，当然，由于篇幅的限制，

有些细节和优化手段未在本篇文章中提及；

2.虽然解决了该问题，但是从长远来看，该单体项目仍然然存在很大的问题和隐患，下面随便举几个：

(1)前后端紧耦合，未分离

(2)由于该系统秒杀业务属于非持续性并发，即局部性并发，当前并未做局部并发架构的调整

(3)由于该系统秒杀业务与该项目紧紧耦合在一起，未进行隔离，未独立成单独模块，未单独部署，从而存在因秒杀业务造成整个系统瘫痪的风险；

(4)未做流量削峰和流量限流，如加mq等软手段；

(5)redis为做高可用集群

![format_png 21][]

**推荐阅读：**

#### 1、[JVM加载Class文件的原理机制][JVM_Class]     2、[项目中常用的19条MySQL优化][19_MySQL]  3、[后端必备 Git 分支开发：规范指南][Git]  4、[老要求用java将word转为PDF，这么搞？][java_word_PDF]     5、[Redis分布式锁没用明白，搞出了大故障…][Redis]  6、[程序员面试 10 大潜规则，千万不要踩坑！][10]     7、[卧槽，为什么volatile关键字保证不了线程安全啊][volatile]     8、  [单怼60道][60]  [多线程][60]  [面试题，你能答上几个?(附答案)][60]  9、[这21个刁钻的HashMap 面试题，我把阿里面试官吊打了！][21_HashMap]     10、[一款SQL自动检查神器，再也不用担心SQL出错了，自动补全、回滚等功能大全][SQL_SQL] ####

**看完有收获?请转发分享给更多有需要的人**

关注 java大数据修炼之道

每天学习java技术，你想学的Java知识这里都有!**![format_png 22][]**

![format_png 23][]微信扫描二维码，关注我的公众号

写留言

*  
 *  ####  ####
    
    如果对你有帮助,请点个"在看 ![format_png 24][]",谢谢 ![format_png 25][]

[format_png]: /images/20221123/b3ca43c56b424a95bf9cae6f090ffe90.png
[format_png 1]: /images/20221123/7c698a57bab14b4586c473f83404db27.png
[format_png 2]: /images/20221123/e3e236ce063e4d1dbe40ae141ace7d4c.png
[format_png 3]: /images/20221123/639aac1f3bec417e9ba5e65f3f4f06f5.png
[format_png 4]: /images/20221123/21d52e3669004e1e9e4212dbbb6d2c16.png
[format_png 5]: /images/20221123/fdbed8e663564a4a8b2c5a979e2a082b.png
[format_png 6]: /images/20221123/541809a7d981484eb3e61444e1425a3e.png
[format_png 7]: /images/20221123/1e4de88001b94e638cd2036e22e7e409.png
[format_png 8]: /images/20221123/2506767a99cb445c8978907cb05ebbd4.png
[format_png 9]: /images/20221123/42d977ffb4b34aae83f4eaeefaab6c36.png
[format_png 10]: /images/20221123/47951f8fa4494bb79b1db4ef82fbadac.png
[format_png 11]: /images/20221123/1961494a56444c37aabf10ae9f5dc9e2.png
[format_png 12]: /images/20221123/cb9e231c60b944b992c1a7b88a0925d4.png
[format_png 13]: /images/20221123/dbfb5b80c49e4d978c6fc0664944e1d2.png
[format_png 14]: /images/20221123/6086543220fc4890913d71f87d291300.png
[format_png 15]: /images/20221123/0ef04be6b7dd4b7ba64db73b45083985.png
[format_png 16]: /images/20221123/73f68fd41dde4bc38dd874ec1945ccb8.png
[format_png 17]: /images/20221123/0e79af37657840fe892c677f939d1d3a.png
[format_png 18]: /images/20221123/6074fe97a9de4ac38ec6d02d823d889b.png
[format_png 19]: /images/20221123/cf3858f35a7a41eca45e24f05022f2c3.png
[format_png 20]: /images/20221123/7b3979dc3c49481387903dc985b17744.png
[format_png 21]: /images/20221123/b21b91369a3c415fa2ec4f45fde7165a.png
[JVM_Class]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc22a24ccb5a332f7f6f597d4c3c703b50b9a13aec76b4176e7d7115fe153b7fca4ed67ff81&idx=1&mid=2247492840&scene=21&sn=d648d08050dd2a9a1ea2a74f946222e5#wechat_redirect
[19_MySQL]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc22c17ccb5a501df41ddeaecf0f7e85e292b45d6c7522e4d6a4d9c4a93a389338ee175eae8&idx=1&mid=2247492315&scene=21&sn=37c6888e30892c7fae56d0769c35a571#wechat_redirect
[Git]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc22bcfccb5a2d98a805b1ed4816628f3d98975c4a77f91a48ef0ec96da89bf4aa5566430de&idx=1&mid=2247492867&scene=21&sn=fd9cd7f805dd36680220b909d5f50b8e#wechat_redirect
[java_word_PDF]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc22dc7ccb5a4d1b94f2a9bbce26082c9f845fbbf7d588a5540d072bcef39b2281d0b705f91&idx=1&mid=2247492363&scene=21&sn=6975a1a5de92dc49d04654f21ffa7c21#wechat_redirect
[Redis]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc1d038ccb6592e2d08ccd07a31a069ebbfc64d9abd2d1cfd88dba5efc1439f14cc78392bf3&idx=1&mid=2247491316&scene=21&sn=59fdccb5447abec7e33c881110c5be1f#wechat_redirect
[10]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc22cc6ccb5a5d09ec368b85dfe087d1b68f6ccbf67d7275356f64f203d353dcba684b4012e&idx=1&mid=2247492106&scene=21&sn=e25c3eea649006f34fd6f5cb62ea78be#wechat_redirect
[volatile]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc22a05ccb5a31383ee13bb6c58f8c12dada691c16624e028f23f24c32d1e4201b4ebd1a354&idx=1&mid=2247492809&scene=21&sn=47c50b227f8063129ed09edc91449100#wechat_redirect
[60]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc1d557ccb65c41ec5d3b7dedd6c7a22949ddcb5de1406de482c3b702a1a4768c66b730b219&idx=1&mid=2247490459&scene=21&sn=66bc23ae41a8abcb9a6f00be754b2e47#wechat_redirect
[21_HashMap]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc1d429ccb65d3fc4be6ab008e4318d3beeccb1394801c72e33cbb9fd162868dce2b9b0c0f2&idx=1&mid=2247490277&scene=21&sn=63d44db7ae6930f25478119f423227d4#wechat_redirect
[SQL_SQL]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc22a13ccb5a305f809cc500952a30c90dc6fbfc8e622ff7ba78b85e64f1ceda60ac8e8ad1c&idx=1&mid=2247492831&scene=21&sn=8b98b8982b38e236f0a798d55f1a46af#wechat_redirect
[format_png 22]: /images/20221123/e85d0d7d0c9c45f1abded920134f24a8.png
[format_png 23]: /images/20221123/860b8afec2e341b2ae2d54df5281df03.png
[format_png 24]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9DMXVETURxam4xOXd0dVFwSzNqbUpXM2JGR1dJOFl6NkZSMTd0bDFNRjhWZnFZeFB4OTkwa3YySjc0THZxd2liMjZLYXlIZE9YZDZlYnpycVlpYmJUand3LzY0MA?x-oss-process=image/format,png
[format_png 25]: /images/20221123/2ccf711e497b4439a51d03485434ff7a.png