TCP/IP详解--TIME_WAIT状态详解

绝地灬酷狼 2022-05-18 05:38 274阅读 0赞

Socket中的TIME\_WAIT状态

**在高并发短连接的server端，当server处理完client的请求后立刻closesocket此时会出现time\_wait状态然后如果client再并发2000个连接，此时部分连接就连接不上了,用linger强制关闭可以解决此问题，但是linger会导致数据丢失，linger值为0时是强制关闭,无论并发多少多能正常连接上,如果非0会发生部分连接不上的情况!（**可调用setsockopt设置套接字的linger延时标志，同时将延时时间设置为0。**）**

TCP/IP的RFC文档。TIME\_WAIT是TCP连接断开时必定会出现的状态。  
是无法避免掉的，这是TCP协议实现的一部分。  
在WINDOWS下，可以修改注册表让这个时间变短一些

time\_wait的时间为2msl,默认为4min.  
你可以通过改变这个变量:  
TcpTimedWaitDelay   
把它缩短到30s

TCP要保证在所有可能的情况下使得所有的数据都能够被投递。当你关闭一个socket时，主动关闭一端的socket将进入TIME\_WAIT状态，而被动关闭一方则转入CLOSED状态，这的确能够保证所有的数据都被传输。当一个socket关闭的时候，是通过两端互发信息的四次握手过程完成的，当一端调用close()时，就说明本端没有数据再要发送了。这好似看来在握手完成以后，socket就都应该处于关闭CLOSED状态了。但这有两个问题，首先，我们没有任何机制保证最后的一个ACK能够正常传输，第二，网络上仍然有可能有残余的数据包(wandering duplicates)，我们也必须能够正常处理。  
通过正确的状态机，我们知道双方的关闭过程如下

![070315123646.jpg][]

图

假设最后一个ACK丢失了，服务器会重发它发送的最后一个FIN，所以客户端必须维持一个状态信息，以便能够重发ACK；如果不维持这种状态，客户端在接收到FIN后将会响应一个RST，服务器端接收到RST后会认为这是一个错误。如果TCP协议能够正常完成必要的操作而终止双方的数据流传输，就必须完全正确的传输四次握手的四个节，不能有任何的丢失。这就是为什么socket在关闭后，仍然处于 TIME\_WAIT状态，因为他要等待以便重发ACK。

如果目前连接的通信双方都已经调用了close()，假定双方都到达CLOSED状态，而没有TIME\_WAIT状态时，就会出现如下的情况。现在有一个新的连接被建立起来，使用的IP地址与端口与先前的完全相同，后建立的连接又称作是原先连接的一个化身。还假定原先的连接中有数据报残存于网络之中，这样新的连接收到的数据报中有可能是先前连接的数据报。为了防止这一点，TCP不允许从处于TIME\_WAIT状态的socket建立一个连接。处于TIME\_WAIT状态的socket在等待两倍的MSL时间以后（之所以是两倍的MSL，是由于MSL是一个数据报在网络中单向发出到认定丢失的时间，一个数据报有可能在发送图中或是其响应过程中成为残余数据报，确认一个数据报及其响应的丢弃的需要两倍的MSL），将会转变为CLOSED状态。这就意味着，一个成功建立的连接，必然使得先前网络中残余的数据报都丢失了。

由于TIME\_WAIT状态所带来的相关问题，我们可以通过设置SO\_LINGER标志来避免socket进入TIME\_WAIT状态，这可以通过发送RST而取代正常的TCP四次握手的终止方式。但这并不是一个很好的主意，TIME\_WAIT对于我们来说往往是有利的。

客户端与服务器端建立TCP/IP连接后关闭SOCKET后，服务器端连接的端口  
状态为TIME\_WAIT

是不是所有执行主动关闭的socket都会进入TIME\_WAIT状态呢？  
有没有什么情况使主动关闭的socket直接进入CLOSED状态呢？

主动关闭的一方在发送最后一个 ack 后  
就会进入 TIME\_WAIT 状态 停留2MSL（max segment lifetime）时间  
这个是TCP/IP必不可少的，也就是“解决”不了的。  
  
也就是TCP/IP设计者本来是这么设计的  
主要有两个原因  
1。防止上一次连接中的包，迷路后重新出现，影响新连接  
   （经过2MSL，上一次连接中所有的重复包都会消失）  
2。可靠的关闭TCP连接  
   在主动关闭方发送的最后一个 ack(fin) ，有可能丢失，这时被动方会重新发  
   fin, 如果这时主动方处于 CLOSED 状态 ，就会响应 rst 而不是 ack。所以  
   主动方要处于 TIME\_WAIT 状态，而不能是 CLOSED 。  
  
TIME\_WAIT 并不会占用很大资源的，除非受到攻击。  
  
还有，如果一方 send 或 recv 超时，就会直接进入 CLOSED 状态

TCP状态转移要点  
    TCP协议规定，对于已经建立的连接，网络双方要进行四次握手才能成功断开连接，如果缺少了其中某个步骤，将会使连接处于假死状态，连接本身占用的资源不会被释放。网络服务器程序要同时管理大量连接，所以很有必要保证无用连接完全断开，否则大量僵死的连接会浪费许多服务器资源。在众多TCP状态中，最值得注意的状态有两个：CLOSE\_WAIT和TIME\_WAIT。    
   
1、LISTENING状态  
　　FTP服务启动后首先处于侦听（LISTENING）状态。

2、ESTABLISHED状态  
　　ESTABLISHED的意思是建立连接。表示两台机器正在通信。

3、CLOSE\_WAIT

对方主动关闭连接或者网络异常导致连接中断，这时我方的状态会变成CLOSE\_WAIT 此时我方要调用close()来使得连接正确关闭

4、TIME\_WAIT

我方主动调用close()断开连接，收到对方确认后状态变为TIME\_WAIT。TCP协议规定TIME\_WAIT状态会一直持续2MSL(即两倍的分段最大生存期)，以此来确保旧的连接状态不会对新连接产生影响。处于TIME\_WAIT状态的连接占用的资源不会被内核释放，所以作为服务器，在可能的情况下，尽量不要主动断开连接，以减少TIME\_WAIT状态造成的资源浪费。

///

目前有一种避免TIME\_WAIT资源浪费的方法，就是关闭socket的LINGER选项。但这种做法是TCP协议不推荐使用的，在某些情况下这个操作可能会带来错误。

不久前，我的Socket Client程序遇到了一个非常尴尬的错误。它本来应该在一个socket长连接上持续不断地向服务器发送数据，如果socket连接断开，那么程序会自动不断地重试建立连接。

有一天发现程序在不断尝试建立连接，但是总是失败。用netstat查看，这个程序竟然有上千个socket连接处于CLOSE\_WAIT状态，以至于达到了上限，所以无法建立新的socket连接了。

为什么会这样呢？

它们为什么会都处在CLOSE\_WAIT状态呢？

**CLOSE\_WAIT状态的生成原因**

首先我们知道，如果我们的Client程序处于CLOSE\_WAIT状态的话，说明套接字是**被动关闭**的！

因为如果是Server端主动断掉当前连接的话，那么双方关闭这个TCP连接共需要四个packet：

**       Server ---> FIN ---> Client**

**       Server <--- ACK <--- Client**

这时候Server端处于FIN\_WAIT\_2状态；而我们的程序处于CLOSE\_WAIT状态。

**       Server <--- FIN <--- Client**

这时Client发送FIN给Server，Client就置为LAST\_ACK状态。

**Server ---> ACK ---> Client**

Server回应了ACK，那么Client的套接字才会真正置为CLOSED状态。  
  
![image][]

**我们的程序处于CLOSE\_WAIT状态，而不是LAST\_ACK状态，说明还没有发FIN给Server，那么可能是在关闭连接之前还有许多数据要发送或者其他事要做，导致没有发这个FIN packet。**

原因知道了，那么为什么不发FIN包呢，难道会在关闭己方连接前有那么多事情要做吗？

还有一个问题，为什么有数千个连接都处于这个状态呢？难道那段时间内，服务器端总是主动拆除我们的连接吗？

不管怎么样，我们必须防止类似情况再度发生！

**首先，我们要防止不断开辟新的端口，这可以通过设置SO\_REUSEADDR套接字选项做到：**

**重用本地地址和端口**

以前我总是一个端口不行，就换一个新的使用，所以导致让数千个端口进入CLOSE\_WAIT状态。如果下次还发生这种尴尬状况，我希望加一个限定，只是当前这个端口处于CLOSE\_WAIT状态！

在调用

**sockConnected = socket(AF\_INET, SOCK\_STREAM, 0);**

之后，我们要设置该套接字的选项来重用：

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>///&nbsp;允许重用本地地址和端口:</p> <p>///&nbsp;这样的好处是，即使socket断了，调用前面的socket函数也不会占用另一个，而是始终就是一个端口</p> <p>///&nbsp;这样防止socket始终连接不上，那么按照原来的做法，会不断地换端口。</p> <p>int&nbsp;nREUSEADDR = 1;</p> <p>setsockopt(sockConnected,</p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; SOL_SOCKET,</p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; SO_REUSEADDR,</p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (const&nbsp;char*)&amp;nREUSEADDR,</p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;sizeof(int));</p> </td> 
  </tr> 
 </tbody> 
</table>

教科书上是这么说的：**这样，假如服务器关闭或者退出，造成本地地址和端口都处于****TIME\_WAIT状态，那么SO\_REUSEADDR就显得非常有用。**

也许我们无法避免被冻结在CLOSE\_WAIT状态永远不出现，但起码可以保证不会占用新的端口。

其次，我们要设置SO\_LINGER套接字选项：

**从容关闭还是强行关闭？**

LINGER是“拖延”的意思。

默认情况下(Win2k)，SO\_DONTLINGER套接字选项的是1；SO\_LINGER选项是，linger为\{l\_onoff：0，l\_linger：0\}。

如果在发送数据的过程中(send()没有完成，还有数据没发送)而调用了closesocket()，以前我们一般采取的措施是“从容关闭”：

因为在退出服务或者每次重新建立socket之前，我都会先调用

/// 先将双向的通讯关闭

**shutdown(sockConnected, SD\_BOTH);**

/// 安全起见，每次建立Socket连接前，先把这个旧连接关闭

**closesocket(sockConnected);**

我们这次要这么做：

**设置SO\_LINGER为零（亦即linger结构中的l\_onoff域设为非零，但l\_linger为0）**，便不用担心closesocket调用进入“锁定”状态（等待完成），不论是否有排队数据未发送或未被确认。这种关闭方式称为“强行关闭”，因为套接字的虚电路立即被复位，尚未发出的所有数据都会丢失。在远端的recv()调用都会失败，并返回WSAECONNRESET错误。

在connect成功建立连接之后设置该选项：

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>linger m_sLinger;</p> <p>m_sLinger.l_onoff = 1; &nbsp;// (在closesocket()调用,但是还有数据没发送完毕的时候容许逗留)</p> <p>m_sLinger.l_linger = 0;&nbsp;// (容许逗留的时间为0秒)</p> <p>setsockopt(sockConnected,</p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; SOL_SOCKET,</p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; SO_LINGER,</p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (const&nbsp;char*)&amp;m_sLinger,</p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;sizeof(linger));</p> </td> 
  </tr> 
 </tbody> 
</table>

**总结**

也许我们避免不了CLOSE\_WAIT状态冻结的再次出现，但我们会使影响降到最小，希望那个重用套接字选项能够使得下一次重新建立连接时可以把CLOSE\_WAIT状态踢掉。

Feedback  
\# 回复：\[Socket\]尴尬的CLOSE\_WAIT状态以及应对策略 2005-01-30 3:41 PM yun.zheng   
回复人： elssann(臭屁虫和他的开心果) ( ) 信誉：51 2005-01-30 14:00:00 得分: 0

我的意思是：当一方关闭连接后，另外一方没有检测到，就导致了CLOSE\_WAIT的出现，上次我的一个朋友也是这样，他写了一个客户端和 APACHE连接，当APACHE把连接断掉后，他没检测到，出现了CLOSE\_WAIT，后来我叫他检测了这个地方，他添加了调用 closesocket的代码后，这个问题就消除了。   
如果你在关闭连接前还是出现CLOSE\_WAIT,建议你取消shutdown的调用，直接两边closesocket试试。

另外一个问题:

比如这样的一个例子：   
当客户端登录上服务器后，发送身份验证的请求，服务器收到了数据，对客户端身份进行验证，发现密码错误，这时候服务器的一般做法应该是先发送一个密码错误的信息给客户端，然后把连接断掉。

如果把   
m\_sLinger.l\_onoff = 1;   
m\_sLinger.l\_linger = 0;   
这样设置后，很多情况下，客户端根本就收不到密码错误的消息，连接就被断了。

\# 回复：\[Socket\]尴尬的CLOSE\_WAIT状态以及应对策略 2005-01-30 3:41 PM yun.zheng   
elssann(臭屁虫和他的开心果) ( ) 信誉：51 2005-01-30 13:24:00 得分: 0

出现CLOSE\_WAIT的原因很简单，就是某一方在网络连接断开后，没有检测到这个错误，没有执行closesocket，导致了这个状态的实现，这在TCP/IP协议的状态变迁图上可以清楚看到。同时和这个相对应的还有一种叫TIME\_WAIT的。

另外，把SOCKET的SO\_LINGER设置为0秒拖延（也就是立即关闭）在很多时候是有害处的。   
还有，把端口设置为可复用是一种不安全的网络编程方法。

\# 回复：\[Socket\]尴尬的CLOSE\_WAIT状态以及应对策略 2005-01-30 3:42 PM yun.zheng   
elssann(臭屁虫和他的开心果) ( ) 信誉：51 2005-01-30 14:48:00 得分: 0

断开连接的时候，   
当发起主动关闭的左边这方发送一个FIN过去后，右边被动关闭的这方要回应一个ACK，这个ACK是TCP回应的，而不 是应用程序发送的，此时，被动关闭的一方就处于CLOSE\_WAIT状态了。如果此时被动关闭的这一方不再继续调用closesocket,那么他就不会 发送接下来的FIN，导致自己老是处于CLOSE\_WAIT。只有被动关闭的这一方调用了closesocket,才会发送一个FIN给主动关闭的这一 方，同时也使得自己的状态变迁为LAST\_ACK。

\# 回复：\[Socket\]尴尬的CLOSE\_WAIT状态以及应对策略 2005-01-30 3:54 PM yun.zheng   
elssann(臭屁虫和他的开心果) ( ) 信誉：51 2005-01-30 15:39:00 得分: 0

比如被动关闭的是客户端。。。

当对方调用closesocket的时候，你的程序正在

int nRet = recv(s,....);   
if (nRet == SOCKET\_ERROR)   
\{   
// closesocket(s);   
return FALSE;   
\}

很多人就是忘记了那句closesocket，这种代码太常见了。

我的理解，当主动关闭的一方发送FIN到被动关闭这边后，被动关闭这边的TCP马上回应一个ACK过去，同时向上面应用程序提交一个ERROR，导 致上面的SOCKET的send或者recv返回SOCKET\_ERROR，正常情况下，如果上面在返回SOCKET\_ERROR后调用了 closesocket,那么被动关闭的者一方的TCP就会发送一个FIN过去，自己的状态就变迁到LAST\_ACK.

\# 回复：\[Socket\]尴尬的CLOSE\_WAIT状态以及应对策略 2005-01-30 4:17 PM yun.zheng   
int nRecvBufLength =   
recv(sockConnected,   
szRecvBuffer,   
sizeof(szRecvBuffer),   
0);   
/// zhengyun 20050130:   
/// elssann举例说，当对方调用closesocket的时候，我的程序正在   
/// recv，这时候有可能对方发送的FIN包我没有收到，而是由TCP代回了   
/// 一个ACK包，所以我这边程序进入CLOSE\_WAIT状态。   
/// 所以他建议在这里判断是否已出错，是就主动closesocket。   
/// 因为前面我们已经设置了recv超时时间为30秒，那么如果真的是超时了，   
/// 这里收到的错误应该是WSAETIMEDOUT，这种情况下也可以关闭连接的   
if (nRecvBufLength == SOCKET\_ERROR)   
\{   
TRACE\_INFO(\_T("=用recv接收发生Socket错误="));   
closesocket(sockConnected);   
continue;   
\}

这样可以吗？   
网络连接无法释放—— CLOSE\_WAIT

**关键字：**TCP ，CLOSE\_WAIT, Java, SocketChannel

**问题描述：**最 近性能测试碰到的一个问题。客户端使用NIO，服务器还是一般的Socket连接。当测试进行一段时间以后，发现服务器端的系统出现大量未释放的网络连 接。用netstat -na查看，连接状态为CLOSE\_WAIT。这就奇怪了，为什么Socket已经关闭而连接依然未释放。

**解决：**Google了半天，发现关于CLOSE\_WAIT的问题一般是C的，Java似乎碰到这个问题的不多（这有一篇不错的，也是解决CLOSE\_WAIT的，但是好像没有根本解决，而是选择了一个折中的办法）。接着找，由于使用了NIO，所以怀疑可能是这方面的问题，结果找到了这篇。顺着帖子翻下去，其中有几个人说到了一个问题—— **一端的Socket调用close后，另一端的Socket没有调用close**.于是查了一下代码，果然发现Server端在某些异常情况时，没有关闭Socket。改正后问题解决。

时间基本上花在Google上了，不过也学到不少东西。下面为一张TCP连接的状态转换图：

![image][image 1]

说明：虚线和实线分别对应服务器端(被连接端)和客户端端(主动连接端)。

结合上图使用netstat -na命令即可知道到当前的TCP连接状态。一般LISTEN、ESTABLISHED、TIME\_WAIT是比较常见。

**分析：**

上面我碰到的这个问题主要因为TCP的结束流程未走完，造成连接未释放。现设客户端主动断开连接，流程如下

**Client                            消息                                    Server**

close()  
                                      ------ FIN ------->  
        FIN\_WAIT1                                                         CLOSE\_WAIT  
                                      <----- ACK -------  
        FIN\_WAIT2   
                                                                                  close()  
                                       <------ FIN ------                       
        TIME\_WAIT                                                       LAST\_ACK

------ ACK ------->    
                                                                                   CLOSED  
           CLOSED

如上图所示，由于Server的Socket在客户端已经关闭时而没有调用关闭，造成服务器端的连接处在“挂起”状态，而客户端则处在等待应答的状态上。此问题的典型特征是：**一端处于FIN\_WAIT2 ，而另一端处于CLOSE\_WAIT**. 不过，根本问题还是程序写的不好，有待提高。

TIME\_WAIT状态

根据TCP协议，主动发起关闭的一方，会进入TIME\_WAIT状态，持续2\*MSL(Max Segment Lifetime)，缺省为240秒，在这个post中简洁的介绍了为什么需要这个状态。

值得一说的是，对于基于TCP的HTTP协议，关闭TCP连接的是Server端，这样，Server端会进入TIME\_WAIT状态，可 想而知，对于访问量大的Web Server，会存在大量的TIME\_WAIT状态，假如server一秒钟接收1000个请求，那么就会积压240\*1000=240，000个 TIME\_WAIT的记录，维护这些状态给Server带来负担。当然现代操作系统都会用快速的查找算法来管理这些TIME\_WAIT，所以对于新的 TCP连接请求，判断是否hit中一个TIME\_WAIT不会太费时间，但是有这么多状态要维护总是不好。

HTTP协议1.1版规定default行为是Keep-Alive，也就是会重用TCP连接传输多个 request/response，一个主要原因就是发现了这个问题。还有一个方法减缓TIME\_WAIT压力就是把系统的2\*MSL时间减少，因为 240秒的时间实在是忒长了点，对于Windows，修改注册表，在HKEY\_LOCAL\_MACHINE/ SYSTEM/CurrentControlSet/Services/ Tcpip/Parameters上添加一个DWORD类型的值TcpTimedWaitDelay，一般认为不要少于60，不然可能会有麻烦。

对于大型的服务，一台server搞不定，需要一个LB(Load Balancer)把流量分配到若干后端服务器上，如果这个LB是以NAT方式工作的话，可能会带来问题。假如所有从LB到后端Server的IP包的 source address都是一样的(LB的对内地址），那么LB到后端Server的TCP连接会受限制，因为频繁的TCP连接建立和关闭，会在server上留 下TIME\_WAIT状态，而且这些状态对应的remote address都是LB的，LB的source port撑死也就60000多个(2^16=65536,1~1023是保留端口，还有一些其他端口缺省也不会用），每个LB上的端口一旦进入 Server的TIME\_WAIT黑名单，就有240秒不能再用来建立和Server的连接，这样LB和Server最多也就能支持300个左右的连接。 如果没有LB，不会有这个问题，因为这样server看到的remote address是internet上广阔无垠的集合，对每个address，60000多个port实在是够用了。

一开始我觉得用上LB会很大程度上限制TCP的连接数，但是实验表明没这回事，LB后面的一台Windows Server 2003每秒处理请求数照样达到了600个，难道TIME\_WAIT状态没起作用？用Net Monitor和netstat观察后发现，Server和LB的XXXX端口之间的连接进入TIME\_WAIT状态后，再来一个LB的XXXX端口的 SYN包，Server照样接收处理了，而是想像的那样被drop掉了。翻书，从书堆里面找出覆满尘土的大学时代买的《UNIX Network Programming, Volume 1, Second Edition: Networking APIs: Sockets and XTI》，中间提到一句，对于BSD-derived实现，只要SYN的sequence number比上一次关闭时的最大sequence number还要大，那么TIME\_WAIT状态一样接受这个SYN，难不成Windows也算BSD-derived?有了这点线索和关键字 (BSD)，找到这个post，在NT4.0的时候，还是和BSD-derived不一样的，不过Windows Server 2003已经是NT5.2了，也许有点差别了。

做个试验，用Socket API编一个Client端，每次都Bind到本地一个端口比如2345，重复的建立TCP连接往一个Server发送Keep-Alive=false 的HTTP请求，Windows的实现让sequence number不断的增长，所以虽然Server对于Client的2345端口连接保持TIME\_WAIT状态，但是总是能够接受新的请求，不会拒绝。那 如果SYN的Sequence Number变小会怎么样呢？同样用Socket API，不过这次用Raw IP，发送一个小sequence number的SYN包过去，Net Monitor里面看到，这个SYN被Server接收后如泥牛如海，一点反应没有，被drop掉了。

按照书上的说法，BSD-derived和Windows Server 2003的做法有安全隐患，不过至少这样至少不会出现TIME\_WAIT阻止TCP请求的问题，当然，客户端要配合，保证不同TCP连接的sequence number要上涨不要下降。

[070315123646.jpg]: http://blogimg.chinaunix.net/blog/upfile/070315123646.jpg
[image]: http://tech.ccidnet.com/pub/attachment/2004/8/322252.png
[image 1]: http://lh6.google.com/image/pengjiaheng/Rf_SsNsyXiI/AAAAAAAAABs/4SXbYlu3v3s/TCP-State.JPG?imgmax=576