Python爬虫新手入门教学（十九）：爬取ip代理，构建代理池

左手的ㄟ右手 2022-10-31 12:14 223阅读 0赞

# 前言 #

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

**Python爬虫、数据分析、网站开发等案例教程视频免费在线观看**

https://space.bilibili.com/523606542

# ![a2b6984089fbb14c9cf0ff607a09682a.png][] #

# 前文内容 #

[Python爬虫新手入门教学（一）：爬取豆瓣电影排行信息][Python]

[Python爬虫新手入门教学（二）：爬取小说][Python 1]

[Python爬虫新手入门教学（三）：爬取链家二手房数据][Python 2]

[Python爬虫新手入门教学（四）：爬取前程无忧招聘信息][Python 3]

[Python爬虫新手入门教学（五）：爬取B站视频弹幕][Python_B]

[Python爬虫新手入门教学（六）：制作词云图][Python 4]

[Python爬虫新手入门教学（七）：爬取腾讯视频弹幕][Python 5]

[Python爬虫新手入门教学（八）：爬取论坛文章保存成PDF][Python_PDF]

[Python爬虫新手入门教学（九）：多线程爬虫案例讲解][Python 6]

[Python爬虫新手入门教学（十）：爬取彼岸4K超清壁纸][Python_4K]

[Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 7]

[Python爬虫新手入门教学（十二）：英雄联盟最新皮肤爬取][Python 8]

[Python爬虫新手入门教学（十三）：爬取高质量超清壁纸][Python 9]

[Python爬虫新手入门教学（十四）：爬取有声小说网站数据][Python 10]

[Python爬虫新手入门教学（十五）：爬取网站音乐素材][Python 11]

[Python爬虫新手入门教学（十六）：爬取好看视频小视频][Python 12]

[Python爬虫新手入门教学（十七）：爬取yy全站小视频][Python_yy]

# 基本开发环境 #

*  Python 3.6
 *  Pycharm

# 相关模块的使用 #

import requests  # 第三方模块
    import parsel
    import time  # 时间模块

安装Python并添加到环境变量，pip安装需要的相关模块即可。

# 一、确定目标需求 #

![f4185b2a7ee4fbaa8f2740b33985fee3.png][]

获取代理IP地址，端口然后对IP进行检测

# 二、网站数据分析 #

网站是静态网页，是可以直接获取数据的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ4NDA1Nzgx_size_16_color_FFFFFF_t_70][]  
根据re、xpath或者css选择器 都是可以提取数据的，还是比较简单的。爬取IP主要是因为在使用爬虫频繁抓取数据的时候，某些网站是比较容易被封IP的。

虽然网站有很多关于免费的IP代理可以使用，但是基本上都是用不了的。

# **完整代码** #

import requests  # 第三方模块
    import parsel
    import time  # 时间模块
    
    
    def check_ip(proxies_list):
        """检测代理ip的可用性"""
    
        use_proxy = []
        for ip in proxies_list:
            try:
                response = requests.get(url='https://www.baidu.com', proxies=ip, timeout=2)
                if response.status_code == 200:
                    use_proxy.append(ip)
            except Exception as e:
                print('当前代理ip: ', ip, '请求超时, 检测不合格!!!')
            else:
                print('当前代理ip: ', ip, '检测通过')
    
        return use_proxy
    
    
    proxy_list = []
    
    for page in range(1, 11):
        time.sleep(0.5)
        print(f'==================正在抓取第{page}页数据================')
        # 1.确定数据所在地址<url>(分析网页性质<静态网页\动态网页>)
        url = f'http://www.ip3366.net/?stype=1&page={page}'
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}
    
        # 2.发送网络请求
        response = requests.get(url=url, headers=headers)
        html_data = response.text  # str
        # print(html_data)
    
        # 3.解析数据
        # 3.1 转换数据类型
        selector = parsel.Selector(html_data)
        # 3.2 数据提取
        trs = selector.xpath('//table[@class="table table-bordered table-striped"]/tbody/tr')  # tr
    
        """
        # 代理ip的结构
            proxies_dict = {
                "http": "http://" + ip:端口,
                "https": "http://" + ip:端口,
            }
        """
    
        for tr in trs:
            ip_num = tr.xpath('./td[1]/text()').get()
            ip_port = tr.xpath('./td[2]/text()').get()
            # print(ip_num, ip_port)
    
            ip_proxy = ip_num + ':' + ip_port
            # print(ip_proxy)
    
            proxies_dict = {
                'http': "http://" + ip_proxy,
                'https': "https://" + ip_proxy
            }
    
            # 4.数据的保存
            proxy_list.append(proxies_dict)
            print('保存成功:', proxies_dict)
    
    print(proxy_list)
    print('获取到的代理ip数量: ', len(proxy_list))
    
    print('============================正在检测代理===================================')
    can_use = check_ip(proxy_list)
    print('可用代理:', can_use)
    print('可用代理数量:', len(can_use))

![4e64b72db6a7540062419348c373fc61.png][]

爬取了100IP代理，最终可以使用的就只有一个，事实证明还是付费的香

[a2b6984089fbb14c9cf0ff607a09682a.png]: /images/20221024/57bfd9980db04b9e93f7a2f899312961.png
[Python]: https://blog.csdn.net/m0_48405781/article/details/113055904
[Python 1]: https://blog.csdn.net/m0_48405781/article/details/113118597
[Python 2]: https://blog.csdn.net/m0_48405781/article/details/113140580
[Python 3]: https://blog.csdn.net/m0_48405781/article/details/113179478
[Python_B]: https://blog.csdn.net/m0_48405781/article/details/113183911?spm=1001.2014.3001.5501
[Python 4]: https://blog.csdn.net/m0_48405781/article/details/113247830
[Python 5]: https://blog.csdn.net/m0_48405781/article/details/113250671
[Python_PDF]: https://blog.csdn.net/m0_48405781/article/details/113336829
[Python 6]: https://blog.csdn.net/m0_48405781/article/details/113356881
[Python_4K]: https://blog.csdn.net/m0_48405781/article/details/113404843
[Python 7]: https://blog.csdn.net/m0_48405781/article/details/113436547
[Python 8]: https://blog.csdn.net/m0_48405781/article/details/113610979
[Python 9]: https://blog.csdn.net/m0_48405781/article/details/113619996
[Python 10]: https://blog.csdn.net/m0_48405781/article/details/113645449
[Python 11]: https://blog.csdn.net/m0_48405781/article/details/113725399
[Python 12]: https://blog.csdn.net/m0_48405781/article/details/113740761
[Python_yy]: https://blog.csdn.net/m0_48405781/article/details/113867436
[f4185b2a7ee4fbaa8f2740b33985fee3.png]: /images/20221024/e4a56df6168447f783d1bb3666db5d61.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ4NDA1Nzgx_size_16_color_FFFFFF_t_70]: /images/20221024/fc091101db7d46a0841321a6e00362e5.png
[4e64b72db6a7540062419348c373fc61.png]: /images/20221024/ad5ae37e5566452bb70937e7c4997e06.png