代理IP之Proxy_Pool

分手后的思念是犯贱 2022-12-11 10:25 124阅读 0赞

**1.下载安装proxy\_pool-master**

下载地址及参考文档:https://github.com/jhao104/proxy\_pool

**![70][]**

下载后解压,在**proxy\_pool-master**中看到如下一堆即为成功.

![70 1][]

**2.打开requirements.txt**

![70 2][]

**3.打开cmd.exe**

依次执行以下5个命令:

pip install  APScheduler==3.2.0

pip install werkzeug==0.11.15

pip install  Flask==0.12

pip install requests==2.12.4  
  
pip install lxml==3.7.2  
通过命令 pip list可以查看已经安装过的包

**4.启动**

到Run目录下运行python main.py

会出现以下情况,只需耐心等待即可

![70 3][]

启动过几分钟后就能看到抓取到的代理IP，你可以直接到数据库中查看，推荐一个[SSDB可视化工具][SSDB]。

也可以通过api访问[http://127.0.0.1:5010][http_127.0.0.1_5010] 查看。详情可参考文档:https://github.com/jhao104/proxy\_pool

中的"使用".

**5.可以通过redis数据库可视化工具查看**

![70 4][]

![70 5][]![70 6][]

[70]: /images/20221123/c41c2cbcb5b24349981a537ffd3945d8.png
[70 1]: /images/20221123/b5cc25f831634957a6560f4a2b55b979.png
[70 2]: /images/20221123/b8b6d9a846ca4e87a7730e08a40c3f89.png
[70 3]: /images/20221123/c641a82d1c0c48b395ebdb44ed08d502.png
[SSDB]: https://github.com/jhao104/SSDBAdmin
[http_127.0.0.1_5010]: http://127.0.0.1:5010/
[70 4]: /images/20221123/44dcbb732e4d4a68b001bc409223c9c4.png
[70 5]: https://img-blog.csdn.net/20180612184652762?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NjYxNTk5/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 6]: /images/20221123/7ad73d4600104c3d8c909f543e5089cf.png

发表评论取消回复

表情：

评论列表（有 0 条评论，124人围观）

还没有评论，来说两句吧...

相关阅读

相关设置代理IP

IP地址取自国内髙匿代理IP网站：'https://www.xicidaili.com/?tdsourcetag=s_pctim_aiomsg' 仅仅爬取首

Myth丶恋晨/ 2024年01月16日 00:42/ 0 赞/ 40 阅读

相关 Python爬虫之ip代理池

可能在学习爬虫的时候，遇到很多的反爬的手段，封ip 就是其中之一。对于封IP的网站。需要很多的代理IP，去买代理IP，对于初学者觉得没有必要，每个卖代

系统管理员/ 2023年10月11日 13:15/ 0 赞/ 58 阅读

相关 ProxyPool 使用简介

ProxyPool 跨语言高性能IP代理池，Python实现。注意：请运行程序前先更新一下抓取代理的爬虫。运行环境 Python 3.6

朱雀/ 2022年12月11日 10:28/ 0 赞/ 119 阅读

相关代理IP之Proxy_Pool

1.下载安装proxy\_pool-master 下载地址及参考文档:https://github.com/jhao104/proxy\_pool ![70][] 下载后

分手后的思念是犯贱/ 2022年12月11日 10:25/ 0 赞/ 125 阅读

相关爬虫 IP代理策略

简介写爬虫，最终还是逃避不了和IP代理打交道。从网上找了好多家IP代理，如表 ![Center][] 最终的选择是无忧IP代理。

亦凉/ 2022年06月08日 23:10/ 0 赞/ 291 阅读

相关 IP代理池检测代理可用性

目录项目代码 utils.py settings.py proxy\_queue.py check\_proxy.py 运行方法 ------------

淡淡的烟草味﹌/ 2022年01月28日 08:57/ 0 赞/ 436 阅读

相关 IP代理池

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 在爬取网站时，经常会遇到ip被封禁，导致爬虫无法正常工作

本是古典何须时尚/ 2022年01月13日 12:59/ 0 赞/ 909 阅读

相关抓取代理IP

写脚本从指定网站抓取数据的时候，免不了会被网站屏蔽IP。所以呢，就需要有一些IP代理。随便在网上找了一个提供免费IP的网站[西刺][Link 1]做IP抓取。本次实践抓取的是其

旧城等待，/ 2021年12月22日 15:15/ 0 赞/ 355 阅读

相关代理IP 设置

检测IP : [http://httpbin.org/get][http_httpbin.org_get] （返回你的请求信息）方式1 import u

ゞ浴缸里的玫瑰/ 2021年10月29日 09:16/ 0 赞/ 418 阅读

相关免费IP代理网

20、[http://www.nimadaili.com/][http_www.nimadaili.com] 泥马IP代理 19、[http://lab.crossincod

「爱情、让人受尽委屈。」/ 2021年09月07日 06:03/ 0 赞/ 417 阅读