JFR 定位因为 SSL 导致 CPU Load 飚高的问题

你的名字 2022-12-11 02:28 233阅读 0赞

# 问题场景 #

在某一时刻，某个微服务的某个实例 CPU 负载突然飚高：

![image][]

同时建立了很多数据库链接：  
![image][image 1]

其他实例没有这个现象。

# 问题定位 #

由于建立了很多数据库链接，猜想可能是数据库比较慢，查看数据库这段时间的 SQL 统计，发现数据库并不慢：

![image][image 2]

其中这个微服务这段时间的热点 SQL，执行并不慢。那么问题出在了哪里呢？可能是由于 GC，可能是由于 safepoint，还有可能是获取锁时间过长（参考：[Java 监控 JFR全解][Java _ JFR]），我们 dump 一下 JFR 并查看其中的 safepoint，GC 以及 Monitor Blocked 相关事件。

首先查看GC，发现都是 Young GC, GC 暂停时间也可以接受。

![image][image 3]

然后是 safepoint，虽然有采集到 safepoint，但是暂停时间也没有很长。

![image][image 4]

最后查看 Java Monitor Block，发现有很多很长时间的锁等待：

![image][image 5]

堆栈显示，阻塞在：`void sun.security.provider.SecureRandom.engineNextBytes(byte[])`上面，这就是一个经典的问题，Java Random，参考代码：[`NativePRNG`][NativePRNG]

// name of the *System* property, takes precedence over PROP_RNDSOURCE
    private static final String PROP_EGD = "java.security.egd";
    // name of the *Security* property
    private static final String PROP_RNDSOURCE = "securerandom.source";
    
    private static final boolean useLegacyDSA =
        Boolean.parseBoolean(GetPropertyAction.privilegedGetProperty
            ("jdk.security.legacyDSAKeyPairGenerator"));
    
    static final String URL_DEV_RANDOM = "file:/dev/random";
    static final String URL_DEV_URANDOM = "file:/dev/urandom";

涉及到两种随机数 seed 生成方式，一种是"file:/dev/random"，另一种是"file:/dev/urandom"，通过设置系统属性`java.security.egd`指定，默认是"file:/dev/random"

# 两种 Random 原理与解决 #

在 Linux 4.8 之前：

![image][image 6]

在 Linux 4.8 之后：

![image][image 7]

在熵池不够用的时候，**默认的"file:/dev/random"会阻塞**，"file:/dev/urandom"不会，继续用。对于我们来说，"file:/dev/urandom"够用，所以**通过`-Djava.security.egd=file:/dev/./urandom`设置系统属性**，使用 urandom 来减少阻塞。

[image]: /images/20221123/7f7146d4b5bb4dd98bd7aba865a5df55.png
[image 1]: /images/20221123/277aa3bee2d74e798b70df44fd17f49e.png
[image 2]: /images/20221123/5b4aba3ac82040f9a532a5b43b63ca66.png
[Java _ JFR]: https://blog.csdn.net/zhxdick/category_9860048.html
[image 3]: /images/20221123/5fa20e4970f846b5b4ec0013b8b39464.png
[image 4]: /images/20221123/d5116ff0fd36457687fd97084b8c9194.png
[image 5]: /images/20221123/973a0b28515143728e53ab7ad22783fd.png
[NativePRNG]: https://github.com/openjdk/jdk/blob/master/src/java.base/unix/classes/sun/security/provider/NativePRNG.java
[image 6]: /images/20221123/dc7b4a3fba724d41b20cce238626dd6a.png
[image 7]: /images/20221123/409d9d7726fa4b89b5efd21554d274ab.png