arcgis datastore服务不可用_"服务不可用"排查套路，just do it!

╰+攻爆jí腚メ 2023-01-10 10:00 207阅读 0赞

![d7681cf29bc6562c7402d6c33008efb8.png][]![2dd57ed23198e3eadc833ced017d580a.png][]

下面是线上机器的cpu使用率，可以看到从4月8日开始，随着时间cpu使用率在逐步增高，最终使用率达到100%导致线上服务不可用，后面重启了机器后恢复。

![f9aa8b288b2df338c16151ebc49b7461.png][]

### 1、排查思路 ###

简单分析下可能出问题的地方，分为5个方向：

*  系统本身代码问题
 *  内部下游系统的问题导致的雪崩效应
 *  上游系统调用量突增
 *  http请求第三方的问题
 *  机器本身的问题

### 2、开始排查 ###

1.  查看日志，没有发现集中的错误日志，初步排除代码逻辑处理错误。
2.  首先联系了内部下游系统观察了他们的监控，发现一起正常。可以排除下游系统故障对我们的影响。
3.  查看provider接口的调用量，对比7天没有突增，排除业务方调用量的问题。
4.  查看tcp监控，TCP状态正常，可以排除是http请求第三方超时带来的问题。
5.  查看机器监控，6台机器cpu都在上升，每个机器情况一样。排除机器故障问题。即通过上述方法没有直接定位到问题。

### 3、解决方案 ###

1、重启了6台中问题比较严重的5台机器，先恢复业务。保留一台现场，用来分析问题。

2、查看当前的tomcat线程pid。

![d53b89948b7f056e37e33d9c203c94ef.png][]

3、查看该pid下线程对应的系统占用情况。`top -Hp 384`

![98907def8b986043bd5c2423a5b32eeb.png][]

4、发现pid `4430` `4431` `4432` `4433` 线程分别占用了约40%的cpu

5、将这几个pid转为16进制，分别为`114e` `114f` `1150` `1151`

6、下载当前的java线程栈 `sudo -u tomcat jstack -l 384>/1.txt`

7、查询5中对应的线程情况，发现都是gc线程导致的

![25ad4df84ada997cf10aaa643b2811fd.png][]

8、dump java堆数据

`sudo -u tomcat jmap -dump:live,format=b,file=/dump201612271310.dat 384`

9、使用MAT加载堆文件，可以看到javax.crypto.JceSecurity对象占用了95%的内存空间，初步定位到问题。

MAT下载地址：

> http://www.eclipse.org/mat/![63de3c938e3f622fa5de0370e210f1ce.png][]

![61af7ed0a15896f61712ff0ef1a90d20.png][]

10、查看类的引用树，看到`BouncyCastleProvider`对象持有过多。即我们代码中对该对象的处理方式是错误的，定位到问题。

### 4、代码分析 ###

我们代码中有一块是这样写的

![14ce12b01cbb615b67c67d41247ff070.png][]

这是加解密的功能，每次运行加解密都会new一个BouncyCastleProvider对象,放到Cipher.getInstance()方法中。

看下Cipher.getInstance()的实现，这是jdk的底层代码实现，追踪到JceSecurity类中

![991fa4046ca0c67dc5ac07159ac47fd6.png][]

verifyingProviders每次put后都会remove,verificationResults只会put，不会remove.![066602b17eaa38e4be23244e53a3ec5b.png][]

看到verificationResults是一个static的map，即属于JceSecurity类的。所以每次运行到加解密都会向这个map put一个对象，而这个map属于类的维度，所以不会被GC回收。这就导致了大量的new的对象不被回收。

### 5、代码改进 ###

将有问题的对象置为static，每个类持有一个，不会多次新建。

![49e76eaa4dd8b1bca83e6c00a65b1327.png][]

### 6、本文总结 ###

遇到线上问题不要慌，首先确认排查问题的思路：

1.  查看日志
2.  查看CPU情况
3.  查看TCP情况
4.  查看java线程，jstack
5.  查看java堆，jmap
6.  通过MAT分析堆文件，寻找无法被回收的对象

来源 | https://urlify.cn/Q3Ar6z

[d7681cf29bc6562c7402d6c33008efb8.png]: https://img-blog.csdnimg.cn/img_convert/d7681cf29bc6562c7402d6c33008efb8.png
[2dd57ed23198e3eadc833ced017d580a.png]: /images/20221119/e72b18b6827343d9b48b63d9edb0edc8.png
[f9aa8b288b2df338c16151ebc49b7461.png]: /images/20221119/b8eb1f67aee043a3beff0507daf2f126.png
[d53b89948b7f056e37e33d9c203c94ef.png]: /images/20221119/4977dbf17c564f1b862dcdd603c15471.png
[98907def8b986043bd5c2423a5b32eeb.png]: /images/20221119/765748a726ab470295908dec3bd376af.png
[25ad4df84ada997cf10aaa643b2811fd.png]: /images/20221119/83b52322f30544df90fb6babff3698fd.png
[63de3c938e3f622fa5de0370e210f1ce.png]: /images/20221119/2ab1b8340e5b4732b2c0936b0f6d78ce.png
[61af7ed0a15896f61712ff0ef1a90d20.png]: /images/20221119/2972eb8002874715873cad7399d26b6f.png
[14ce12b01cbb615b67c67d41247ff070.png]: /images/20221119/79f56a02b30847cdae1e504005ee372f.png
[991fa4046ca0c67dc5ac07159ac47fd6.png]: /images/20221119/a022874c1753443fafde31612ac291c3.png
[066602b17eaa38e4be23244e53a3ec5b.png]: /images/20221119/3ebfb2fbc0bf4bd1bd432e3b6762addb.png
[49e76eaa4dd8b1bca83e6c00a65b1327.png]: /images/20221119/c1965c9803cc456c9b9eb4c553dc82ae.png