HttpWebRequest的GetResponse或GetRequestStream偶尔超时 + 总结各种超时死掉的可能和相应的解决办法

- 日理万妓 2022-05-20 03:17 76阅读 0赞

【问题】

用C\#模拟网页登陆，其中去请求几个页面，会发起对应的http的请求request，其中keepAlive设置为true，提交请求后，然后会有对应的response：

resp = (HttpWebResponse)req.GetResponse();

之前的多次调试，一直都是可以正常获得对应的response，然后读取html页面的。

但是后来几次的调试，在没有改变代码的前提下，结果GetResponse却始终会超时死掉。

【解决过程】

1.默认request的timeout是1000000毫秒=100秒，都会超时，手动改为10秒，因此就更容易超时了，无法解决问题。

2.将http的request的keepAlive设置为false，问题依旧。

3.去参考：[c\# request.GetResponse();超时问题的解决][c_ request.GetResponse]，和[HttpWebRequest多线程性能问题，请求超时的错误][HttpWebRequest]，

去把前面共4次的httprequest，每次都增加对应的：

<table style="border-spacing:0px;width:583px;border:0px;font-family:'Lucida Grande', 'Helvetica Neue', Helvetica, Arial, sans-serif;font-size:14px;line-height:21px;vertical-align:baseline;color:rgb(102,102,102);"> 
 <tbody style="font-family:inherit;font-style:inherit;font-variant:inherit;font-weight:inherit;line-height:inherit;vertical-align:baseline;background-color:rgb(240,240,240);"> 
  <tr style="border-top:0px;font-family:inherit;font-style:inherit;font-variant:inherit;font-weight:inherit;line-height:inherit;vertical-align:baseline;"> 
   <td style="font-weight:inherit;border-color:rgb(204,204,204);line-height:inherit;font-family:inherit;font-style:inherit;font-variant:inherit;vertical-align:baseline;"><p style="font-weight:inherit;line-height:1.5;border:0px;font-family:inherit;font-style:inherit;font-variant:inherit;vertical-align:baseline;">resp = null;&nbsp;<br>。。。&nbsp;<br>if (resp != null)&nbsp;<br>{&nbsp;<br>&nbsp;&nbsp;&nbsp; resp.Close();&nbsp;<br>}&nbsp;<br>if (req != null)&nbsp;<br>{&nbsp;<br>&nbsp;&nbsp;&nbsp; req.Abort();&nbsp;<br>}</p></td> 
  </tr> 
 </tbody> 
</table>

结果还是没解决问题。

4. 同样参考：[HttpWebRequest多线程性能问题，请求超时的错误][HttpWebRequest]，

去尝试关于DefaultConnectionLimit的设置，改为为10：

<table style="border-spacing:0px;width:583px;border:0px;font-family:'Lucida Grande', 'Helvetica Neue', Helvetica, Arial, sans-serif;font-size:14px;line-height:21px;vertical-align:baseline;color:rgb(102,102,102);"> 
 <tbody style="font-family:inherit;font-style:inherit;font-variant:inherit;font-weight:inherit;line-height:inherit;vertical-align:baseline;background-color:rgb(240,240,240);"> 
  <tr style="border-top:0px;font-family:inherit;font-style:inherit;font-variant:inherit;font-weight:inherit;line-height:inherit;vertical-align:baseline;"> 
   <td style="font-weight:inherit;border-color:rgb(204,204,204);line-height:inherit;font-family:inherit;font-style:inherit;font-variant:inherit;vertical-align:baseline;">System.Net.ServicePointManager.DefaultConnectionLimit = 10;</td> 
  </tr> 
 </tbody> 
</table>

问题依旧。

5.又去测试了下，关于response.Close()

也是没解决问题。

6. 最后无意间，索性不抱希望的，再次DefaultConnectionLimit设置为更大的值50：

System.Net.ServicePointManager.DefaultConnectionLimit = 50;

试了试，结果就解决超时的问题了。

然后才搞懂原因。

之前默认设置为2，后来改为10，都没有解决问题的原因在于，当前有很多个http的连接，没有被关闭掉，

而这些keepalive的连接，都是

由于代码中，对于前面多个request。其都是keepalive为true，以及多个response也没有close，

而之前调试了很多次了，所以，此时已经存在了很多个alive的http连接了，已经超过了10个了，所以前面设置了DefaultConnectionLimit 为10，也还是没用的。

而改为50，才够用。

【总结】

此处GetResponse超过的原因是，当前存在太多数目的alive的http连接（大于10个），所以再次提交同样的http的request，再去GetResponse，就会超时死掉。

解决办法就是，把DefaultConnectionLimit 设置为一个比较大一点的数值，此数值保证大于你当前已经存在的alive的http连接数即可。

【经验总结】

以后写http的request代码，如果不是必须的要keepalive的，那么就要设置KeepAlive为false：

req.KeepAlive = false;

以及做对应的收尾动作：

<table style="border-spacing:0px;width:583px;border:0px;font-family:'Lucida Grande', 'Helvetica Neue', Helvetica, Arial, sans-serif;font-size:14px;line-height:21px;vertical-align:baseline;color:rgb(102,102,102);"> 
 <tbody style="font-family:inherit;font-style:inherit;font-variant:inherit;font-weight:inherit;line-height:inherit;vertical-align:baseline;background-color:rgb(240,240,240);"> 
  <tr style="border-top:0px;font-family:inherit;font-style:inherit;font-variant:inherit;font-weight:inherit;line-height:inherit;vertical-align:baseline;"> 
   <td style="font-weight:inherit;border-color:rgb(204,204,204);line-height:inherit;font-family:inherit;font-style:inherit;font-variant:inherit;vertical-align:baseline;"><p style="font-weight:inherit;line-height:1.5;border:0px;font-family:inherit;font-style:inherit;font-variant:inherit;vertical-align:baseline;">if (resp != null)&nbsp;<br>{&nbsp;<br>&nbsp;&nbsp;&nbsp; resp.Close();&nbsp;<br>}&nbsp;<br>if (req != null)&nbsp;<br>{&nbsp;<br>&nbsp;&nbsp;&nbsp; req.Abort();&nbsp;<br>}</p></td> 
  </tr> 
 </tbody> 
</table>

【后记 2012-03-01】

又偶尔遇到一次，DefaultConnectionLimit已经是200了，足够大了，但是GetResponse和GetRequestStream，还是会超时死掉的问题，具体是什么原因导致的还不是很清楚，但是经过折腾，参考：

[HttpWebResponse’s GetResponse() hangs and timeouts][HttpWebResponse_s GetResponse_ hangs and timeouts]

在：

<table style="border-spacing:0px;width:583px;border:0px;font-family:'Lucida Grande', 'Helvetica Neue', Helvetica, Arial, sans-serif;font-size:14px;line-height:21px;vertical-align:baseline;color:rgb(102,102,102);"> 
 <tbody style="font-family:inherit;font-style:inherit;font-variant:inherit;font-weight:inherit;line-height:inherit;vertical-align:baseline;background-color:rgb(240,240,240);"> 
  <tr style="border-top:0px;font-family:inherit;font-style:inherit;font-variant:inherit;font-weight:inherit;line-height:inherit;vertical-align:baseline;"> 
   <td style="font-weight:inherit;border-color:rgb(204,204,204);line-height:inherit;font-family:inherit;font-style:inherit;font-variant:inherit;vertical-align:baseline;"><p style="font-weight:inherit;line-height:1.5;border:0px;font-family:inherit;font-style:inherit;font-variant:inherit;vertical-align:baseline;">req = (HttpWebRequest)WebRequest.Create(constSkydriveUrl);&nbsp;<br>setCommonHttpReqPara(ref req);&nbsp;<br>resp = (HttpWebResponse)req.GetResponse();</p></td> 
  </tr> 
 </tbody> 
</table>

之前，添加一句垃圾回收：

System.GC.Collect();

然后就解决了GetResponse的超时问题，并且后面的GetRequestStream也同时可以正常工作，不超时了。

所以，看起来像是当前系统由于调试多次，并且HttpWebRequest和HttpWebResponse都是没有正常去Close的，可能会残留一些http的链接，然后就可能影响到了后续对于http的使用，垃圾回收后，估计就把残余的http相关资源释放了，然后http就可以正常工作了。

【总结】

对于GetResponse或GetRequestStream超时死掉的原因，可能是：

1.DefaultConnectionLimit是默认的2，而当前的Http的connection用完了，导致后续的GetResponse或GetRequestStream超时死掉

==>> 默认系统只支持同时存在2个http的connection

==>> 使用HttpWebRequest之后如果没有close，则会占用1个http的connection，所以如果超过2次使用HttpWebRequest而没有close，那么就用完系统的http的connection，之后再去使用HttpWebRequest，GetResponse就会死掉

解决办法：

办法1：

每次使用完HttpWebRequest，使用

1.  req.Close();
2.  req= null;

去关闭对应的http connection

最好对应的HttpWebResponse也要close：

1.  resp.Close();
2.  resp = null;

方法2：

修改DefaultConnectionLimit的值，改为足够大，比如：

System.Net.ServicePointManager.DefaultConnectionLimit = 200;

2.系统中Http相关的资源没有正确释放，导致后续GetResponse或GetRequestStream超时死掉

就像我此处遇到的，可能是之前调用http相关函数，没有正确完全释放资源，导致虽然DefaultConnectionLimit给了足够大，但是还是会死掉，此时在http请求代码之前去做一次垃圾回收，则后续http的GetResponse或GetRequestStream就正常了，就不会超时死掉了。

参考代码如下：

1.  System.GC.Collect();
2.  
3.  req = (HttpWebRequest)WebRequest.Create(constSkydriveUrl);
4.  setCommonHttpReqPara( ref req);
5.  resp = (HttpWebResponse)req.GetResponse();

3.Http的GET请求时，不要手动设置ContentLength的值

这个是参考这里：[HttpWebRequest.GetResponse() hangs the second time it is called][HttpWebRequest.GetResponse_ hangs the second time it is called]而记录于此的，也许有人是此原因，所以可供参考一下。

即Http的GET请求，不要添加类似如下的代码：

1.  if (m\_contentLength > 0)
2.  httpWebRequest.ContentLength = m\_contentLength;

不要去手动修改对应的ContentLength的值，C\#的http相关库函数，会自动帮你计算的。

注：POST方法中，的确是要手动填充数据和算出数据大小，然后手动给ContentLength赋值的。

4.其他可能的一些原因

（1）关于KeepAlive的问题

如果Http的请求，是设置了KeepAlive=true的话，那么对应的http的connection会和服务器保持连接的。

所以如果上述办法都不能解决超时的问题，可以尝试将keepAlive设置为false试试，看看能否解决。

（2）关于Sleep

有些人好像是通过在http请求前，加了对应的Sleep，结果解决了此问题。需要的人，也可以试试。

（3）HttpWebRequest的Timeout

一般来说，既然超时了，往往是由于错误使用函数或者网络有问题导致的，所以实际上此处对于有些人去把HttpWebRequest的Timeout的值改的更大，往往都是没用的。

只不过，万一是由于网络响应慢而导致超时，那么倒是可以尝试，将HttpWebRequest的Timeout的值改为更大。

（其中HttpWebRequest的Timeout默认的值是100,000 milliseconds ==100 seconds）

参考代码：

req.Timeout = 5 * 60 * 1000; // 5 minutes

原文地址：[https://blog.csdn.net/Linux7985/article/details/46534415][https_blog.csdn.net_Linux7985_article_details_46534415]

[c_ request.GetResponse]: http://hi.baidu.com/tzhywxh/blog/item/24ca0cee59c38c252cf534ec.html
[HttpWebRequest]: http://archive.cnblogs.com/a/2082620/
[HttpWebResponse_s GetResponse_ hangs and timeouts]: http://bytes.com/topic/c-sharp/answers/228437-httpwebresponses-getresponse-hangs-timeouts
[HttpWebRequest.GetResponse_ hangs the second time it is called]: http://stackoverflow.com/questions/2063937/httpwebrequest-getresponse-hangs-the-second-time-it-is-called
[https_blog.csdn.net_Linux7985_article_details_46534415]: https://blog.csdn.net/Linux7985/article/details/46534415