centos系统大量time wait占用的解决

ゝ一纸荒年。 2022-04-23 14:16 198阅读 0赞

统计在一台前端机上高峰时间TCP连接的情况，统计命令：  
netstat -n | awk '/^tcp/ \{++S\[$NF\]\} END \{for(a in S) print a, S\[a\]\}'

除了ESTABLISHED，可以看到连接数比较多的几个状态是：FIN\_WAIT1, TIME\_WAIT, CLOSE\_WAIT, SYN\_RECV和LAST\_ACK；下面的文章就这几个状态的产生条件、对系统的影响以及处理方式进行简单描述。

发现存在大量TIME\_WAIT状态的连接  
tcp 0 0 127.0.0.1:3306 127.0.0.1:41378 TIME\_WAIT  
tcp 0 0 127.0.0.1:3306 127.0.0.1:41379 TIME\_WAIT  
tcp 0 0 127.0.0.1:3306 127.0.0.1:39352 TIME\_WAIT  
tcp 0 0 127.0.0.1:3306 127.0.0.1:39350 TIME\_WAIT  
tcp 0 0 127.0.0.1:3306 127.0.0.1:35763 TIME\_WAIT  
tcp 0 0 127.0.0.1:3306 127.0.0.1:39372 TIME\_WAIT  
tcp 0 0 127.0.0.1:3306 127.0.0.1:39373 TIME\_WAIT  
tcp 0 0 127.0.0.1:3306 127.0.0.1:41176 TIME\_WAIT

通过调整内核参数解决  
vi /etc/sysctl.conf

编辑文件，加入以下内容：  
net.ipv4.tcp\_syncookies = 1  
net.ipv4.tcp\_tw\_reuse = 1  
net.ipv4.tcp\_tw\_recycle = 1  
net.ipv4.tcp\_fin\_timeout = 30

然后执行/sbin/sysctl -p让参数生效。

net.ipv4.tcp\_syncookies = 1表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭；  
net.ipv4.tcp\_tw\_reuse = 1表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；  
net.ipv4.tcp\_tw\_recycle = 1表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。  
net.ipv4.tcp\_fin\_timeout修改系統默认的TIMEOUT时间

修改之后，再用命令查看TIME\_WAIT连接数  
netstat -ae|grep “TIME\_WAIT” |wc –l

发现大量的TIME\_WAIT 已不存在，mysql进程的占用率很快就降下来的，网站访问正常。  
不过很多时候，出现大量的TIME\_WAIT状态的连接，往往是因为网站程序代码中没有使用mysql.colse()，才导致大量的mysql TIME\_WAIT.

根据TCP协议定义的3次握手断开连接规定,发起socket主动关闭的一方 socket将进入TIME\_WAIT状态,TIME\_WAIT状态将持续2个MSL(Max Segment Lifetime),在Windows下默认为4分钟,即240秒,TIME\_WAIT状态下的socket不能被回收使用. 具体现象是对于一个处理大量短连接的服务器,如果是由服务器主动关闭客户端的连接,将导致服务器端存在大量的处于TIME\_WAIT状态的socket, 甚至比处于Established状态下的socket多的多,严重影响服务器的处理能力,甚至耗尽可用的socket,停止服务. TIME\_WAIT是TCP协议用以保证被重新分配的socket不会受到之前残留的延迟重发报文影响的机制,是必要的逻辑保证.

在HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters,添加名为TcpTimedWaitDelay的

DWORD键,设置为60,以缩短TIME\_WAIT的等待时间

[http://kerry.blog.51cto.com/1...][http_kerry.blog.51cto.com_1...]

修改之后，再用

netstat -ae|grep mysql

tcp 0 0 aaaa:50408 192.168.12.13:mysql ESTABLISHED nobody 3224651  
tcp 0 0 aaaa:50417 192.168.12.13:mysql ESTABLISHED nobody 3224673  
tcp 0 0 aaaa:50419 192.168.12.13:mysql ESTABLISHED nobody 3224675

发现大量的TIME\_WAIT 已不存在，mysql进程的占用率很快就降下来的，各网站访问正常！！

以上只是暂时的解决方法，最后仔细巡查发现是前天新上线的一个系统，程序代码中没有使用mysql.colse()，才导致大量的mysql TIME\_WAIT

[http_kerry.blog.51cto.com_1...]: http://kerry.blog.51cto.com/172631/105233/