线上问题排查方法--笔记

本是古典何须时尚 2022-10-16 09:44 277阅读 0赞

## 高CPU占用 ##

**命令top：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70]

*  （1）top…：系统运行时间
 *  （2）Tasks…：系统进程相关
 *  （3）Cpu…:cpu相关
 *  （4）Mem：内存相关
 *  （5）Swap：交换分区相关
 *  （6）PID…：具体进程信息

**（1）系统运行时间：**  
![在这里插入图片描述][20210529111818145.png]  
系统当前时间|系统到目前运行时间|当前系统登录的用户数量|负载均衡|1min|5min|15min

**（2）系统进程相关**  
![在这里插入图片描述][20210529111834616.png]  
总进程数|正在运行进程数|挂起进程数|停止进程数|僵尸进程数

**（4）内存相关**  
![在这里插入图片描述][20210529111939469.png]  
物理总内存|已使用物理内存|空闲内存量|缓冲区内存总量

**（5）交换分区相关**  
![在这里插入图片描述][20210529112002578.png]  
交换区总量|已使用交互区总量|空闲交换区总量|缓冲的交换区总量

**占用cpu高原因**：计算密集型应用 / 死循环  
**命令ps aux|grep pid**定位tomcat进程问题  
**命令ps -mp pid -o THREAD,tid,time** 定位到具体的线程或代码

**Cpu和耗时**  
命令：printf ”%x\\n” tid 将线程id转为16进制格式  
Printf ”%x\\n” 15731

**命令打印线程的堆栈信息**：jstack pid|grep tid -A 30

1.  top命令：Linux命令。可以查看实时的CPU使用情况。也可以查看最近一段时间的CPU使用情况。
2.  PS命令：Linux命令。强大的进程状态监控命令。可以查看进程以及进程中线程的当前CPU使用情况。属于当前状态的采样数据。
3.  jstack：Java提供的命令。可以查看某个进程的当前线程栈运行情况。根据这个命令的输出可以定位某个进程的所有线程的当前运行状态、运行代码，以及是否死锁等等。
4.  pstack：Linux命令。可以查看某个进程的当前线程栈运行情况。

## jstack ##

是java虚拟机自带的一种堆栈跟踪工具。  
jstack用于打印出给定的java进程ID或core file或远程调试服务的Java堆栈信息，如果是在64位机器上，需要指定选项"-J-d64"，Windows的jstack使用方式只支持以下的这种方式：jstack用于生成java虚拟机当前时刻的线程快照。线程快照是当前java虚拟机内每一条线程正在执行的方法堆栈的集合，生成线程快照的主要目的是定位线程出现长时间停顿的原因，如线程间死锁、死循环、请求外部资源导致的长时间等待等。主要用来查看Java线程的调用堆栈的，可以用来分析线程问题（如死锁）。  
**线程的几种状态**

*  NEW,未启动的。不会出现在Dump中。
 *  RUNNABLE,在虚拟机内执行的。运行中状态，可能里面还能看到locked字样，表明它获得了某把锁。
 *  BLOCKED,受阻塞并等待监视器锁。被某个锁(synchronizers)給block住了
 *  WATING,无限期等待另一个线程执行特定操作。等待某个condition或monitor发生，一般停留在park(), wait(),sleep(),join() 等语句里。
 *  TIMED\_WATING,有时限的等待另一个线程的特定操作。和WAITING的区别是wait()等语句加上了时间限制 wait(timeout)。
 *  TERMINATED,已退出的。

## Java内存泄漏 ##

Jstat命令：可以查看堆内存各部分使用量以及加载类的数量。  
Jstat \[-命令选项\] \[vmid\]\[间隔时间/毫秒\]\[查询次数\]  
通过jstat观察到业务系统fullgc比较频繁 最后oom  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 1]

用jmap查看存活对象情况 jmap -histo:live pid 可以看到实例数量  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 2]

定位到代码

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70]: /images/20221014/1e1d1c186ece42089de72381573f44ff.png
[20210529111818145.png]: /images/20221014/d1684d76e56d415a94ae34c1822128b6.png
[20210529111834616.png]: /images/20221014/d4516507f2c24247a2e4501ac1cc45a5.png
[20210529111919718.png]: /images/20221014/89f81d7fa3dd44b8a41cca7a68381871.png
[20210529111939469.png]: /images/20221014/3387241733054db9a261e1471a6b12be.png
[20210529112002578.png]: /images/20221014/afc78a843bfb47fda93e01b3f866ca47.png
[20210529112018252.png]: /images/20221014/10fc433a35b343c2880686c9838fce46.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 1]: /images/20221014/26e2a9c8200e464386a2ccb1d5c4fd3f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 2]: /images/20221014/10f361c9702c4ab6bde0d6af19ee5385.png