我的反爬解决方案（1）—— 怼代理IP

我就是我 2021-11-02 02:42 347阅读 0赞

### 项目地址 ###

**免费代理IP池地址(长期维护)**：[https://github.com/IMWoolei/FreeProxyPool][https_github.com_IMWoolei_FreeProxyPool]

### 前言 ###

在常见的反爬手段中，最常见的是针对访问频度反爬，频度反爬中最常用的又是针对出口IP访问频率的限制。

遇到封IP时的解决办法就是降低请求频率或更换请求出口IP，其中更换出口代理IP的方式最常使用的则是设置代理IP。

### 代理IP来源 ###

*  **购买代理IP**：大部分代理IP可用，相对稳定，能为大规模的爬虫提供有效的支持；
 *  **ADSL拨号**：购买VPS主机，稳定，能提供的有限的代理IP，VPS主机数与能提供的代理IP数成正比；
 *  **免费代理IP**：抓取代理IP提供商的公开代理IP，可用率低，可能已经被某些热门站点拉入黑名单，免费是最大的优势；
 *  其它…

### 关于代理IP ###

代理IP中常常又分为`透明代理`、`匿名代理`、`高匿代理`、`混淆代理`，关于这四者的区别可以参考一下这个文章

>  *  代理类型一共能分为四种：透明代理、匿名代理、高匿代理、混淆代理
>  *  安全程度：高匿->混淆->匿名->透明
> 
> 知乎-代理IP的那些事儿（理论基础） >> [https://zhuanlan.zhihu.com/p/46823908][https_zhuanlan.zhihu.com_p_46823908]

### 自己写的一个免费代理IP池 ###

免费的虽然难用，但不失为一种经济的方案，通过代理请求失败的URL可以通过重试的方案来解决。

**项目地址**：[https://github.com/IMWoolei/FreeProxyPool][https_github.com_IMWoolei_FreeProxyPool]

关于这个免费代理IP池项目

*  使用`Redis`做缓存队列；
 *  通过配置文件可设定需要维护的代理IP池数目；
 *  提供调用`API接口`；
 *  设定维护的目标站点，如需采集豆瓣信息，可设定目标域名`www.douban.com`做豆瓣的专属代理池；
 *  可灵活新增代理IP采集站点，可在`collector.py`中新增站点类，继承`BaseCollector`，然后重写采集逻辑即可；
 *  当前已支持站点
    
     *  西刺代理 [>>][Link 1]
     *  89免费代理 [>>][Link 2]
     *  66代理IP [>>][Link 3]
     *  Fate0 [>>][Link 4]
     *  江先礼代理IP [>>][Link 5]

[https_github.com_IMWoolei_FreeProxyPool]: https://github.com/IMWoolei/FreeProxyPool
[https_zhuanlan.zhihu.com_p_46823908]: https://zhuanlan.zhihu.com/p/46823908
[Link 1]: https://www.xicidaili.com/
[Link 2]: http://www.89ip.cn/
[Link 3]: http://www.66ip.cn/areaindex_35/1.html
[Link 4]: https://github.com/fate0/proxylist
[Link 5]: http://ip.jiangxianli.com/?page=1