服务器CPU负载过高问题查询记录

系统管理员 2021-04-06 13:26 577阅读 0赞

这是一个未解的疑问

--------------------

周四晚上，有一台服务器遇到一个很怪异的现象：有流量访问时，CPU负载升到100%，但是内存使用量不大，通过NGINX切流，不接受HTTP请求，服务器又自动恢复了，原本打算准时游泳的脚步，就被问题缠住了=-=

于是我们就开始登陆有问题的服务器，通过日志和监控查看具体问题。在这切流前后，ActiveMQ消息服务和DUBBO的RPC调用，都是处于运行中的，区别在于，切流前的CPU负载突然升高到100%，但是内存使用量只是升高，没到OOM的地步（所以没有dump文件）。

## 开始查看服务器： ##

### 1：通过top服务器，定位到PID为30284的jvm进程占用CPU到达100% ###

### 2：显示线程列表，按照CPU占用高的线程排序 ###

\[admin@xxxxx\]\# top -Hp 30284

### 3：找到最耗时线程的PID，然后将它转成16进制的格式 ###

\[admin@xxxxx\]\# printf "%x\\n" 31448 77e0

### 4：通过jstack命令查看jvm，grep耗时线程的详细堆栈信息 ###

\[admin@xxxx\] \# jstack 30284 | grep 77e0 -A 60

--------------------

## 进一步分析 ##

堆栈信息比较多的是MQ线程处于TIME\_WAIT状态，等待消息出队，通过观察源码，发现这里一直在计算，不过MQClient一直在要等待消息处理，所以这个状态好像也没啥问题=-=

通过查看业务日志，发现消息消费onMessage特别耗时

有些消息处理已经超过100000ms，根本算不上正常(ಥ\_ಥ)，对比与其它几台服务器，同样的应用，但消息处理速度很正常，其它各项指标也是正常，只能先将这台服务器切流，初步怀疑这台服务器的MQ消费有特殊的问题 。

另外跟踪几个消费的消息，发现有个数据库查询方法特别耗时，导致整个消息处理变慢

查看其它服务器的消息处理情况，这个查询方法速度虽然也要一到两秒，但也算是正常。但这台机器查询速度慢应该是受到服务器CPU高负载的影响，毕竟redis和JDBC连接也会受到影响。

将这台服务器暂时切下，等待消息处理结束，服务器就自动恢复了，但是是什么引起服务器的CPU负载升高的“元凶”还没找到，怎么也解释不通，还需要继续观察。

--------------------

## 小结： ##

1、学习到简单定位占用CPU高的线程在做什么操作的服务器命令 2、ActiveMQ这个消息中间件还是不熟悉，需要去了解一下 3、dao层查询慢，业务上需要进行优化这个场景 4、要去了解服务器各种状态的影响

发表评论取消回复

表情：

评论列表（有 0 条评论，577人围观）

还没有评论，来说两句吧...

相关阅读

相关 linux 排查cpu负载过高异常

linux 排查cpu负载过高异常问步骤一、找到最耗CPU的进程步骤二：找到最耗CPU的线程步骤三：将线程PID转化

朱雀/ 2023年10月06日 19:03/ 0 赞/ 134 阅读

相关记一次服务器负载过高问题

早上刚到接到前方同事电话，说线上有台服务访问延迟很高，他排查了下发现内存还很充足，cpu使用率也不是很高，单就是负载出奇的高，等我到后开始一系列的排查 1. 查看服务器资源

今天药忘吃喽~/ 2023年01月23日 13:50/ 0 赞/ 195 阅读

相关 linux 负载高 cpu低,Linux服务器CPU使用率较低但负载较高

CPU使用率较低但负载较高问题描述 Linux 系统没有业务程序运行，通过 top 观察，类似如下图所示，CPU 很空闲，但是 load average 却非常高，如下图

红太狼/ 2023年01月21日 15:21/ 0 赞/ 293 阅读

相关调试CPU负载过高

调试CPU负载过高利用JDK自带工具调试利用阿里的arthas调试运行arthas-boot.jar 显示所有线程的信息（CP

左手的ㄟ右手/ 2023年01月18日 13:19/ 0 赞/ 9 阅读

相关服务器CPU占用率过高问题分析

在开发过程中，碰到了Java进程占用cpu过高的现象，本篇来介绍一下排查思路。 1. 查看占用CPU过高Java进程使用 `top -p <pid>` 命令（为Jav

╰半夏微凉°/ 2022年12月27日 01:53/ 0 赞/ 196 阅读

相关 elasticsearch服务器CPU 占用过高调整

elasticsearch服务器CPU100%分析 1、通过top命令查询占用CPU高的进程ID 然后ps aux ｜ grep \[pid\] 2、发现线

偏执的太偏执、/ 2022年12月18日 07:54/ 0 赞/ 270 阅读

相关服务器负载过高问题分析

线上服务器存在问题学习。问题现象： 1，top命令查询服务器负载达到2.0-5之间，tomcat的cpu使用率达到104% ![Center][

╰半夏微凉°/ 2022年06月13日 00:13/ 0 赞/ 249 阅读

相关服务器cpu负载过高问题排查

第一步：执行top命令，查出当前机器线程情况 top - 09:14:36 up 146 days, 20:24, 1 user, load average:

小灰灰/ 2022年06月09日 06:42/ 0 赞/ 270 阅读

相关服务器CPU负载过高问题查询记录

这是一个未解的疑问 -------------------- 周四晚上，有一台服务器遇到一个很怪异的现象：有流量访问时，CPU负载升到100%，但是内存使用量不大，通过NG

水深无声/ 2022年04月27日 22:34/ 0 赞/ 241 阅读

相关服务器CPU负载过高问题查询记录

这是一个未解的疑问周四晚上，有一台服务器遇到一个很怪异的现象：有流量访问时，CPU负载升到100%，但是内存使用量不大，通过NGINX切流，不接受HTTP请求，服务器...

系统管理员/ 2021年04月06日 13:26/ 0 赞/ 578 阅读