莫名其妙的 C# HttpWebRequest.GetResponse() 超时错误

迷南。 2023-05-21 07:08 2阅读 0赞

现象  
现象：GET请求 “特定URL” 时超时，无法获取Response响应。代码阻塞在HttpWebRequest.GetResponse()里面。

注意是在访问 “特定URL” 时才超时，访问其他URL是正常的。例如，访问 http://hello.com/?page=2（以下称为page2）超时，而访问 http://hello.com/?page=1 （以下称为page1）和 http://hello.com/?page=3 （以下称为page3）却是正常的。访问page1、page3每次都成功，访问page2每次都超时。

然而page2是可以被浏览器正常访问的；我用易语言两种方法GET请求page2都正常。排除了目标网站不工作或限制访问的情况。

分析  
我的C\#程序启动后第一次请求就是访问page2，排除了Connection、Request、Response等资源耗尽的情况。

网上有说.Net 3.5 / 4 默认使用代理，加上 HttpWebRequest.Proxy = null; 后也不行。

不是超时设定过短的问题，默认的100秒绝对不短。

我怀疑.Net库有BUG，把 .Net 2.0 换成了.Net 4.5.2、4.6.1，还是不行。

因超时而触发的异常对象只是说超时了，没有更多有价值的参考信息。

网络上找到的下面这篇经典文章，提供了不少解决GetResponse超时问题的办法，但不适用于我现在遇到的状况。

【已解决】HttpWebRequest的GetResponse或GetRequestStream偶尔超时 + 总结各种超时死掉的可能和相应的解决办法

一定是哪里出了问题！问题是出在哪里？

解决  
问题解决了。

事实证明还是目标网站的page2有些特殊。经过Fidder观测，发现第一次访问page2时被302重定向到认证页面，进而又被302重定向到page2，我发现必须在访问认证页面时接收Cookie并将其传入到第二次访问page2的请求中。访问page1、page3等其他页面并不需要这一步骤。

上文提到的易语言的两个办法，“HTTP读文件()” 和 “网页\_访问\_对象()” 都自动处理了Cookie，不需要我关心，自己就工作的很好。可是C\#代码的WEB请求并没有帮我接收和传递Cookie，导致最后302重定向很多遍之后以超时告终。

最后的解决办法是，我自行编码跟踪302重定向，接收Cookie并传递给下一个请求。以下是相关C\#代码。

// 跟踪302临时跳转，接收Cookies并传递给下一次请求。  
// by Liigo 20170303  
public static string GetHtmlExX(string strUrl, string strReferer, string strCookies)  
\{  
try  
\{  
HttpWebRequest req;  
HttpWebResponse res = GetHttpWebResponseNoRedirect(strUrl, strReferer, strCookies, out req);  
while (res.StatusCode == HttpStatusCode.Found)  
\{  
strUrl = res.Headers\[HttpResponseHeader.Location\];  
strCookies = res.Headers\[HttpResponseHeader.SetCookie\];  
res.Close();  
req.Abort();  
res = GetHttpWebResponseNoRedirect(strUrl, strReferer, strCookies, out req);  
\}  
Stream responseStream = res.GetResponseStream();  
StreamReader streamReader = new StreamReader(responseStream);  
string html = streamReader.ReadToEnd();  
streamReader.Close();  
responseStream.Close();  
res.Close();  
req.Abort();  
return html;  
\} catch (Exception e)  
\{  
string msg = e.Message;  
return "";  
\}  
\}

// 执行HTTP GET请求，返回Response对象和Request对象。调用者负责关闭他们：Response.Close()，Request.Abort()。  
public static HttpWebResponse GetHttpWebResponseNoRedirect(string strUrl, string strReferer, string strCookies, out HttpWebRequest request)  
\{  
HttpWebRequest req = null;  
try  
\{  
req = HttpWebRequest.Create(strUrl) as HttpWebRequest;  
if (!string.IsNullOrEmpty(strCookies))  
req.Headers\[HttpRequestHeader.Cookie\] = strCookies;  
req.ContentType = contentType;  
req.ServicePoint.ConnectionLimit = maxTry;  
if (!string.IsNullOrEmpty(strReferer))  
req.Referer = strReferer;  
req.Accept = accept;  
req.UserAgent = userAgent;  
req.Method = "GET";  
req.Timeout = 15000;  
req.AllowAutoRedirect = false;  
HttpWebResponse res = req.GetResponse() as HttpWebResponse;  
request = req; // Liigo: 如果此处调用req.Abort()关闭请求，则返回的Response对象的数据流是不可读的（"流不可读"）。  
return res;  
\}  
catch  
\{  
if (req != null) req.Abort();  
request = null;  
return null;  
\}  
\}