Linux操作系统调优工具

骑猪看日落 2021-11-24 01:16 331阅读 0赞

一、 系统调优概述和查看CPU负载相关工具  
1、 系统调优思路  
性能优化就是找到系统处理中的瓶颈以及去除这些的过程，性能优化其实是对OS 各子系统达到一种平衡的定义。具体步骤如下：  
1）系统的运行状况： CPU -> MEM -> DISK-> NETWORK -> application  
2）分析是否有瓶颈(依据当前应用需求)  
3）调优(采取一定措施使变得优异)

这些子系统之间关系是相互彼此依赖的，任何一个高负载都会导致其他子系统出现问题.比如:  
大量的网页调入请求导致内存队列的拥塞；  
网卡的大吞吐量可能导致更多的 CPU 开销；  
大量的 CPU 开销又会尝试更多的内存使用请求；  
大量来自内存的磁盘写请求可能导致更多的 CPU 以及 IO 问题；  
所以要对一个系统进行优化,查找瓶颈来自哪个方面是关键,虽然看似是某一个子系统出现问题,其实有可能是别的子系统导致的。调优就像医生看病，因此需要你对服务器所有地方都了解清楚。

2、 查看CPU负载的工具  
2.1 使用uptime命令查看系统cpu负载  
\[root@xuegod120 ~\]\# uptime  
![在这里插入图片描述][2019072712501331.png]  
![在这里插入图片描述][20190727125028376.png]

例1：找出当前系统中，cup负载最高的服务器？  
服务器1： load average: 0.15, 0.08, 0.01 1核  
服务器2： load average: 4.15, 6.08, 6.01 1核  
服务器3： load average: 10.15, 10.08, 10.01 4核  
答案：服务器2负载过高。  
经验：单核心，1分钟的系统平均负载不要超过3，就可以，4核心不要超过12，这是个经验值。所以如果服务器的CPU为1核心，则load average中的数字 >=3 负载过高，如果服务器的CPU为4核心，则load average中的数字 >=12 负载过高。

3、 实战：找出系统中使用CPU最多的进程  
3.1 运行top命令，按下大写的P，可以按照CPU使用率来排序显示  
![在这里插入图片描述][20190727125036558.png]

3.2 按照实际使用CPU，从大到小排序显示所有进程列表  
\[root@xuegod120 ~\]\# ps -aux --sort -pcpu | more  
注释：-pcpu 可以显示出进程绝对路径，方便找出木马程序的运行路径  
![在这里插入图片描述][20190727125040677.png]

3.3 查看cpu信息  
\[root@xuegod120 ~\]\# cat /proc/cpuinfo  
![在这里插入图片描述][20190727125043116.png]

扩展说明：  
top 中 VIRT、RES和SHR的含意：  
VIRT：virtual memory usage 虚拟内存  
1）进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据等；  
2）假如进程申请100m的内存，但实际只使用了10m，那么它会增长100m，而不是实际的使用量。  
RES：resident memory usage 常驻内存  
1）进程当前使用的内存大小，但不包括swap out；  
2）包含其他进程的共享；  
3）如果申请100m的内存，实际使用10m，它只增长10m，与VIRT相反；  
4）关于库占用内存的情况，它只统计加载的库文件所占内存大小。

SHR：shared memory 共享内存  
1）除了自身进程的共享内存，也包括其他进程的共享内存；  
2）虽然进程只使用了几个共享库的函数，但它包含了整个共享库的大小；  
3）计算某个进程所占的物理内存大小公式：RES – SHR；  
4）swap out后，它将会降下来。

3.4 使用mpstat查看CPU运行情况  
\[root@xuegod120 ~\]\# yum -y install sysstat  
\[root@xuegod120 ~\]\# rpm -qf `which mpstat` \#查看命令输入那个rpm包  
sysstat-10.1.5-17.el7.x86\_64  
\[root@xuegod120 ~\]\# mpstat  
![在这里插入图片描述][20190727125051798.png]  
每列参数说明：  
usr:用户空间CPU使用占比。  
nice:低优先级进程使用CPU占比。nice值大于0。  
sys:内核空间CPU使用占比。  
iowait:CPU等待IO占比。  
irq:CPU处理硬中断占比。  
soft:CPU处理软中断占比。  
idle:CPU空闲时间占比。  
guest与steal与虚拟机有关，暂不涉及。

\[root@xuegod120 ~\]\# mpstat -P ALL \#查看所有cpu运行状态  
因为只配置了一核cpu所有只能看到有一个，如果是多核的就会多行显示  
![在这里插入图片描述][20190727125057378.png]  
\[root@xuegod120 ~\]\# mpstat -P ALL 1 100 \#每1秒钟刷新一次，连续刷新100次

![在这里插入图片描述][20190727125101362.png]

二、 查看memory运行状态的攻击  
1、 使用free命令查看内容的使用情况  
![在这里插入图片描述][20190727125107281.png]  
注：在centos7系统中available 这一列是真正可用内存。 available包括了buff/cache中一些可以被释放的内存。当物理内存不够用的时候，内核会把非活跃的数据清空。

2、 通过读取内存文件，查看非活跃内存  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70]  
Active：活跃内存，指进程一直读写的内存空间  
Inactive：非活跃内存  
注：当内存不够用时，kernel总是把不活跃的内存交换到swap空间。如果inactive内存多时，加swap空间可以解决问题，而active多，则考虑加内存。

3、 找出系统中使用内存最多的进程  
方法1：使用top命令，按下大写M，可以按照内存使用率来排序显示  
top------ M  
![在这里插入图片描述][20190727125115885.png]  
方法2：按照实际使用内存，从大到小排序显示  
\[root@xuegod120 ~\]\# ps -aux --sort -rss | more \#去掉-号，表示升序（ps -axu –sort rss | more）  
![在这里插入图片描述][20190727125126976.png]

三、 查看IO运行状态的工具  
1、 查看文件系统块大小  
对于ext4文件系统，查看大小：  
\[root@xuegod120 ~\]\# tune2fs -l /dev/sda1 | grep size  
Filesystem features: has\_journal ext\_attr resize\_inode dir\_index filetype needs\_recovery extent flex\_bg sparse\_super huge\_file uninit\_bg dir\_nlink extra\_isize  
Block size: 1024 \# 为1个字节 。 一个扇区512字节。

对于xfs文件系统，查看大小  
\[root@xuegod120 ~\]\# xfs\_growfs -l /dev/sda1 | grep size \#查看分区的块大小  
![在这里插入图片描述][20190727125130686.png]

2、 通过iostat命令查看IO是否存在瓶颈  
参数：  
\-d：仅显示磁盘统计信息  
\-k：以k为单位显示每秒的磁盘请求书，默认单位块  
\-p：device|ALL 用于显示块设备及系统分区的统计信息  
\[root@xuegod120 ~\]\# iostat -d -k -p  
![在这里插入图片描述][20190727125134440.png]  
每列含意：  
kB\_read/s 每秒从磁盘读入的数据量,单位为K.  
kB\_wrtn/s 每秒向磁盘写入的数据量,单位为K.  
kB\_read 读入的数据总量,单位为K.  
kB\_wrtn 写入的数据总量,单位为K.  
3、 给磁盘写入数据，写入时尽可能不读取磁盘  
\[root@xuegod120 ~\]\# dd if=/dev/zero if=a.txt bs=10M count=1000;sync  
\[root@xuegod120 ~\]\# iostat -d -k -p  
和上面对比，每秒钟的写入速度有增加，总的写入量也有增加  
![在这里插入图片描述][20190727125140528.png]

4、 公司服务器很卡，查看cpu使用率不高，内存也够用，但就是卡，尤其是打开程序或文件时，更加卡，需要找出是哪里的问题？  
使用iotop命令，查看那个进行使用的磁盘读写最多  
\[root@xuegod120 ~\]\# yum -y install iotop  
参数：  
\-o：only 只显示在读写硬盘的程序  
\-d SEC：-delay=SEC 设定显示时间间隔（刷新时间）

iotop常用快捷键：  
<- / ->：左右箭头：改变排序方式，默认是按IO排序。  
r：改变排序顺序。  
o：只显示有IO输出的进程。  
p：进程/线程的显示方式的切换。  
a：显示累积使用量。  
q：退出，按q或ctrl+C

4.1 找出使用磁盘最多的进程  
\[root@xuegod120 ~\]\# iotop -o -d 1 \#显示使用磁盘最多的进行，1s刷新一次  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70 1]

四、 查看Network运行状态工具  
1、 使用nload，找出系统中使用网络最多的进程  
1.1． 使用nload监控总体带宽使用情况  
\[root@xuegod120 ~\]\# yum -y install epel-release  
\[root@xuegod120 ~\]\# yum -y install nload  
如果使用yum不能安装，请单独下载rpm包后上传服务器，进行安装

1.2． 开始监控  
可以看到随着访问的增多，网络消耗也在增加  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70 2]

2、 使用nethogs找出使用带宽最多的进程  
2.1. 安装nethogs包  
\[root@xuegod120 ~\]\#  
wget [http://dl.fedoraproject.org/pub/epel/7/x86\_64/Packages/n/nethogs-0.8.5-1.el7.x86\_64.rpm][http_dl.fedoraproject.org_pub_epel_7_x86_64_Packages_n_nethogs-0.8.5-1.el7.x86_64.rpm]  
或者直接通过网页下载后上传到服务器，进行安装。  
使用rpm安装报错：  
\[root@xuegod120 ~\]\# rpm -ivh nethogs-0.8.5-1.el7.x86\_64.rpm  
error: Failed dependencies:  
libpcap.so.1()(64bit) is needed by nethogs-0.8.5-1.el7.x86\_64  
原因：缺少libpcap的64位运行库文件，使用yum安装即可  
yum -y install libpcap.x86\_64

\[root@xuegod120 ~\]\# rpm -ivh nethogs-0.8.5-1.el7.x86\_64.rpm

2.2. 在另一个终端使用wget下载文件，然后使用nethogs监控  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70 3]

五、 查看系统整体运行状态  
1、 使用vmstat查看内存及系统整体运行状态  
vmstat ：命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值，包括服务器的CPU使用率，MEM内存使用，VMSwap虚拟内存交换情况，IO读写情况。  
使用vmstat可以看到整个机器的CPU，内存，IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率。 比top命令节省资源。  
注：当机器运行比较慢时，建议大家使用vmstat查看运行状态，不需要使用top，因top使用资源比较多。

例：  
\[root@xuegod120 ~\]\# vmstat \#系统自带的，不需要单独安装  
procs -----------memory---------- —swap-- -----io---- --system-- -----cpu-----  
r b swpd free buff cache si so bi bo in cs us sy id wa st  
0 0 0 361292 69344 420744 0 0 21 3 40 42 0 1 98 1 0  
如图：

每一列参数作用：  
r 运行状态的进程个数 。展示了正在执行和等待cpu资源的任务个数。当这个值超过了cpu个数，就会出现cpu瓶颈。  
b 不可中断睡眠 正在进行i/o等待－－阻塞状态的进程个数 进程读取外设上的数据，等待时

free 剩余内存，单位是KB  
buffers \#内存从磁盘读出的内容  
cached \#内存需要写入磁盘的内容

si swapin swap换入到内存  
so swapout 内存换出到swap 换出的越多，内存越不够用

bi blockin 从硬盘往内存读。 单位是块。 把磁盘中的数据读入内存  
bo blockout　从内存拿出到硬盘　（周期性的有值）　写到硬盘  
\#判断是读多还是写多，是否有i/o瓶颈

in 系统的中断次数，cpu调度的次数多  
cs 每秒的上下文切换速度  
CPU上下文切换－－程序在运行的时候，CPU对每个程序切换的过程。  
更多内存参以一下表格： vmstat每个字段含义说明

2、 使用sar命令记录系统一段时间的运行状态  
安装sar命令  
\[root@xuegod120 ~\]\# yum -y install sysstat  
\[root@xuegod120 ~\]\# rpm -qf `which sar`  
sysstat-10.1.5-17.el7.x86\_64

sysstat 工具包可以把检查到的信息保存下来，存在/var/log/sa目录下。 sar 默认显示每１０分钟统计一次状态信息（从装sysstat包开始）  
sar 命令行的常用格式： sar \[options\] \[-A\] \[-o file\] t \[n\]  
在命令行中，n 和t 两个参数组合起来定义采样间隔和次数，t为采样间隔，是必须有的参数，n为采样次数，是可选的，默认值是1，-o file表示将命令结果以二进制格式存放在文件中，file 在此处不是关键字，是文件名。options 为命令行选项，sar命令的选项很多，下面只列出常用选项：  
下面只列出常用选项：  
\-A：所有报告的总和。  
\-n：网络接口的情况。  
\-u：CPU利用率  
\-v：进程、I节点、文件和锁表状态。  
\-d：硬盘使用报告。  
\-r：没有使用的内存页面和硬盘块。  
\-g：串口I/O的情况。  
\-b：缓冲区使用情况。  
\-a：文件读写情况。  
\-c：系统调用情况。  
\-R：进程的活动情况。  
\-y：终端设备活动情况。  
\-w：系统交换活动。  
\-o 文件名：打印到屏幕并将采样结果以二进制形式存入当前目录下的文件中。  
\-f 文件名：查看之前保存的二进制文件。  
\-d：显示磁盘。  
\-d 1 100 \#必须得指定次数。  
\-c：每秒创建进程的个数。  
\-i 1 10 \#指定时间间隔。  
\-P：查看cpu。  
\-r：查看内存。  
\-w：每秒上下文切换次数。  
\-o /cpu.sar \#保存并显示。  
\-f cpu.sar \#读取。

例1：每2秒钟采样一次，连续采样5次，观察cpu使用情况，并将采样结构以二进制形式存入当前目录下的文件cpu.sar中  
\[root@xuegod120 ~\]\# sar -u 2 5 -o cpu.sar  
![在这里插入图片描述][20190727125211889.png]  
在显示内容包括：  
%usr：CPU处在用户模式下的时间百分比。  
%sys：CPU处在系统模式下的时间百分比。  
%wio：CPU等待输入输出完成时间的百分比。  
%idle：CPU空闲时间百分比。  
在所有的显示中，我们应主要注意%wio和%idle，%wio的值过高，表示硬盘存在I/O瓶颈，%idle值高，表示CPU较空闲，如果%idle值高但系统响应慢时，有可能是CPU等待分配内存，此时应加大内存容量。%idle值如果持续低于10，那么系统的CPU处理能力相对较低，表明系统中最需要解决的资源是CPU。

查看cpu.sar文件  
\[root@xuegod120 ~\]\# sar -u -f cpu.sar \#不能使用cat查看，是乱码  
![在这里插入图片描述][20190727125217786.png]

3、 查看sar的计划任务并读取日志  
默认是10分钟执行一次采用，并保存到/var/log/sa  
![在这里插入图片描述][2019072712522299.png]

查看网络接口的流量情况：  
\[root@xuegod120 ~\]\# sar -n DEV -f /var/log/sa/sa27  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70 4]

4、 查看内存和硬盘  
\[root@xuegod120 ~\]\# sar -r -f /var/log/sa/sa27 \#-r是查看内存  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70 5]

\[root@xuegod120 ~\]\# sar -d -f /var/log/sa/sa27 \#-d是查看内存  
![在这里插入图片描述][20190727125233348.png]

sar可以查看所有状态，其他使用方法：  
sar -r 1 \#查看内存  
sar -n ALL \#查看所有  
sar -b 1 10 \#缓冲区使用情况，每秒刷新一次，查看10次  
sar -I ALL 1 10  
sar -r -f /tmp/file -n -r -b -m  
sar -s 15:00:00 -e 15:30:00 \#查看某个时间段，系统运行情况  
sar -s 15:00:00 -e 15:30:20 -f /var/log/sa/sa01  
sar -r -s 15:00:00 -e 15:30:20 -f /var/log/sa/sa01

[2019072712501331.png]: /images/20211122/513d53f71ec840ee8fa12683cf96189a.png
[20190727125028376.png]: /images/20211122/f27697881b72411b8dbdc4678390d997.png
[20190727125036558.png]: /images/20211122/dff02e8d68dc423195df74c3b4b51cae.png
[20190727125040677.png]: /images/20211122/4e3134a4413f45629eae9a657a11dfb7.png
[20190727125043116.png]: /images/20211122/b77a8b9dee9a4946ae9e02aa58facecf.png
[20190727125051798.png]: /images/20211122/d7442ca632ae4d86b3e0e4727a04f326.png
[20190727125057378.png]: /images/20211122/188ee790f46f4c28b872f79c889bd082.png
[20190727125101362.png]: /images/20211122/c406c794cb8c4b89b84f2c1780241ca4.png
[20190727125107281.png]: /images/20211122/e279f41b392c497b857b0bd4acbf055d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70]: /images/20211122/7843ddda88de45788a8dee75c194a177.png
[20190727125115885.png]: /images/20211122/feaa5549ddd84bdbbd1a6519e848e565.png
[20190727125126976.png]: /images/20211122/c384391725a34cab9e3143cf9017e3e4.png
[20190727125130686.png]: /images/20211122/633b6ea25a67451b9735be9a15d67434.png
[20190727125134440.png]: /images/20211122/14a81bdf2ac64538b5f2aa099532afb7.png
[20190727125140528.png]: /images/20211122/a084c5583cea4042b9f684b5511c3d78.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70 1]: /images/20211122/d4debb6c1cdb443bb06c32b584e43f13.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70 2]: /images/20211122/9c14fb1de1fb4fa9bb29f3c32ee10459.png
[http_dl.fedoraproject.org_pub_epel_7_x86_64_Packages_n_nethogs-0.8.5-1.el7.x86_64.rpm]: http://dl.fedoraproject.org/pub/epel/7/x86_64/Packages/n/nethogs-0.8.5-1.el7.x86_64.rpm
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70 3]: /images/20211122/b06ca655677943e9986610a5d5eb1a2d.png
[20190727125211889.png]: /images/20211122/f461f2540ac743bf9911e58fbb869e4a.png
[20190727125217786.png]: /images/20211122/faa585419397403dba73c8f5223db477.png
[2019072712522299.png]: /images/20211122/f6d069aac7f44ba785c443cc9d3febf6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70 4]: /images/20211122/dcbd0f7ad68440f3ad781bbdc58d3391.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0MzY5OQ_size_16_color_FFFFFF_t_70 5]: /images/20211122/f27ecb3d98f141e5bd02075734f14c2c.png
[20190727125233348.png]: /images/20211122/555af75908c64807bb0985a89b46ef68.png