爬虫程序中怎么加入动态代理

浅浅的花香味﹌ 2022-06-01 10:39 65阅读 0赞

**网络爬虫技术学习，更多知识请访问[https://www.itkc8.com][https_www.itkc8.com]**

https://www.iteblog.com/archives/118.html\#comments

相信很多人都用过代码写过不同的爬虫程序吧，来获取互联网上自己需要的信息，这比自己手动的去一个一个复制来的容易。但是，居然是用程序来获取某个网站里面的信息，可以知道，在很短的时间内，这个程序会访问某个网站很多次，很多网站都会对这样的情况进行屏蔽；比如，隔几分钟才能正常访问。这对于我们的爬虫程序来说是个大麻烦。我们知道，当我们访问一个网站的时候，对方服务器是会记下我们电脑的IP地址，有没有方法来动态改变自己的IP地址呢？答案是有的，那就是用代理。这样我们就可以在程序中加入代理功能，只要对方服务器屏蔽了我们的IP，我们就用程序自动的去换别的IP地址嘛，这样不就可以不断的访问某个服务器吗？可以利用Java的HttpClient包，来加入动态代理功能。

好了，说了这么多，程序怎么实现呢？具体的思路是：当我们可以正常访问一个页面的时候（给服务器发送一条HTTP请求），服务器一般是会返回2XX的HTTP响应码给我们。当服务器返回诸如403（被禁止访问了；当然，这个页面正常情况下是可以访问的，正常情况下都返回403 的代码，那就是人家本来就不让你访问的啦，我也哀莫能及）HTTP相应码的时候，我们就可以知道，服务器是把我们屏蔽了。这时候，当我们的程序检测到返回的403代码的时候，就可以换一个IP地址，再重新请求刚刚被屏蔽的页面不就实现了动态代码的程序吗？

**第一步**：先声明一个代理类

<table style="margin-left:0px;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:baseline;"> <code>package</code> <code> com.wyp.utils;</code> &nbsp; <code>/**</code> <code>&nbsp;</code><code>* @author 过往记忆</code> <code>&nbsp;</code><code>* Create Data: 2012-8-10</code> <code>&nbsp;</code><code>* Email: wyphao.2007@163.com</code> <code>&nbsp;</code><code>* Blog: <a href="https://www.iteblog.com/" rel="nofollow"> https://www.iteblog.com</a></code> <code>&nbsp;</code><code>* 版权所有，翻版不究，但在修改本程序的时候必须加上这些注释！</code> <code>&nbsp;</code><code>* 仅用于学习交流之用</code> <code>&nbsp;</code><code>*</code> <code>&nbsp;</code><code>* 代理服务器IP以及端口</code> <code>&nbsp;</code><code>*/</code> <code>public</code> <code> class</code> <code> proxyServer { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>public</code> <code> static</code> <code> String proxyIP [] = { </code><code>"ec2-23-22-95-3.compute-1.amazonaws.com"</code><code>, </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>"211.68.70.169"</code><code>, </code><code>"202.203.132.29"</code><code>,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>"218.192.175.84"</code><code>, </code><code>"ec2-50-16-197-120.compute-1.amazonaws.com"</code><code>, </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>"50.22.206.184-static.reverse.softlayer.com"</code><code>,};</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>public</code> <code> static</code> <code> int</code> <code> proxyPort[] = { </code><code>8000</code><code>, </code><code>3128</code><code>, </code><code>3128</code><code>, </code><code>3128</code><code>, </code><code>8001</code><code>, </code><code>8080</code><code>};</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

这个代理类很简单吧，就加了几个代理的IP和端口。注意，proxyPort中的端口号要一一对应proxyIP中的IP地址。  
**第二步**：声明一个HttpClient 对象，设置好超时时间。

<table style="margin-left:0px;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:baseline;"> <code>HttpClient httpClient = </code><code>null</code><code>;</code> <code>httpClient = </code><code>new</code> <code> HttpClient();</code> <code>// 设置 Http 连接超时 5s</code> <code>httpClient.getHttpConnectionManager().getParams().setConnectionTimeout(</code><code>5000</code><code>);</code> </td> 
 </tr> 
 </tbody> 
</table>

**第三步**：设置代理

<table style="margin-left:0px;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:baseline;"> <code>/**</code> <code>&nbsp;</code><code>* 设置代理</code> <code>*/</code> <code>private</code> <code> void</code> <code> setProxy(String proxyIP, </code><code>int</code> <code> hostPort) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(</code><code>"正在设置代理："</code> <code> + proxyIP + </code><code>":"</code> <code> + hostPort);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>// TODO Auto-generated method stub</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>httpClient.getHostConfiguration().setHost(Hosturl, hostPort, </code><code>"http"</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>httpClient.getParams().setCookiePolicy(CookiePolicy.BROWSER_COMPATIBILITY);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>httpClient.getHostConfiguration().setProxy(proxyIP, proxyPort);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Credentials defaultcreds = </code><code>new</code> <code> UsernamePasswordCredentials(</code><code>""</code><code>,&nbsp; </code><code>""</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>httpClient.getState().setProxyCredentials(</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>new</code> <code> AuthScope(proxyIP, proxyPort, </code><code>null</code><code>), defaultcreds);</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

**第四步**：测试当前的代理是否有用

<table style="margin-left:0px;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:baseline;"> <code>/**</code> <code>* @param string</code> <code>* @param i</code> <code>*</code> <code>* 测试代理服务器的可用性</code> <code>*</code> <code>* 只有返回HttpStatus.SC_OK才说明代理服务器有效</code> <code>* 其他的都是不行的</code> <code>*/</code> <code>private</code> <code> int</code> <code> testProxyServer(String url, String proxyIp, </code><code>int</code> <code> proxyPort) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>// TODO Auto-generated method stub</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>setProxy(proxyIp, proxyPort);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>GetMethod getMethod = setGetMethod(url);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code><code>(getMethod == </code><code>null</code><code>){ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(</code><code>"请求协议设置都搞错了，所以我无法完成您的请求"</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.exit(</code><code>1</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>try</code> <code> { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>int</code> <code> statusCode = httpClient.executeMethod(getMethod);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code> <code> (statusCode == HttpStatus.SC_OK) { </code><code>//2XX状态码</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code> <code> HttpStatus.SC_OK;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code><code>else</code> <code> if</code><code>(statusCode == HttpStatus.SC_FORBIDDEN){ </code><code>//代理还是不行</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code> <code> HttpStatus.SC_FORBIDDEN;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code><code>else</code><code>{&nbsp; </code><code>//&nbsp; 其他的错误</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code> <code> 0</code><code>;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>} </code><code>catch</code> <code> (HttpException e) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>// 发生致命的异常，可能是协议不对或者返回的内容有问题</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(</code><code>"Please check your provided http address!"</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.exit(</code><code>1</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>} </code><code>catch</code> <code> (IOException e) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>// 发生网络异常</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.exit(</code><code>1</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>} </code><code>finally</code> <code> { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>// 释放连接</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>getMethod.releaseConnection();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code> <code> 0</code><code>;</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

**第五步**：得到服务器是否对我们进行屏蔽，如果返回的是SC\_FORBIDDEN，代表被屏蔽的，那么我们就一个一个代理去试，也就是调用第四步的函数去判断当前的代理是否有用。

<table style="margin-left:0px;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:baseline;"> <code>if</code><code>(statusCode == HttpStatus.SC_FORBIDDEN){&nbsp; </code><code>//访问被人家限制了就设置代理</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>//代理服务器的个数</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>int</code> <code> proxySize = proxyServer.proxyIP.length;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>int</code> <code> i = </code><code>0</code><code>;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code><code>(; i &lt; proxySize; i++){&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </code><code>//我们一个一个测试代理服务器的有用性&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(</code><code>"正在测试代理："</code> <code> + </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxyServer.proxyIP[i] + </code><code>":"</code> <code> + proxyServer.proxyPort[i]);&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>int</code> <code> status = testProxyServer(url, proxyServer.proxyIP[i], </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxyServer.proxyPort[i]);&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code><code>(status == HttpStatus.SC_OK){ </code><code>//代理服务器找到了&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>break</code><code>;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code><code>else</code><code>{ </code><code>//其他情况你就继续去代理吧&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>continue</code><code>;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code><code>(i &gt;= proxySize){ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println("唉，我把你设置的代理服务器都测试了，</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>好像没有发现有效的代理，我只有退出了！");</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code> <code> null</code><code>;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>System.out.println(</code><code>"代理："</code> <code> + proxyServer.proxyIP[i] + </code><code>":"</code> <code> + </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxyServer.proxyPort[i] + </code><code>"目前可用"</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxyIP = proxyServer.proxyIP[i];</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxyPort = proxyServer.proxyPort[i];</code> </td> 
 </tr> 
 </tbody> 
</table>

经过上面几步，我们就可以不要担心程序被人家屏蔽了。

**网络爬虫技术学习，更多知识请访问[https://www.itkc8.com][https_www.itkc8.com]**

[https_www.itkc8.com]: https://www.itkc8.com/