Python爬虫实战：东方财富网股吧数据爬取（三）

谁借莪１个温暖的怀抱￠ 2022-11-16 04:54 1867阅读 0赞

# Python爬虫实战系列文章目录 #

[Python爬虫实战：东方财富网股吧数据爬取（一）][Python]  
[Python爬虫实战：东方财富网股吧数据爬取（二）][Python 1]  
[Python爬虫实战：东方财富网股吧数据爬取（三）][Python 2]  
[Python爬虫实战：东方财富网股吧数据爬取（四）][Python 3]

### 目录 ###

*  Python爬虫实战系列文章目录
 *  前言
 *  一、项目说明
 *  二、问题重述
 *  二、实施过程
 *   *  1.为什么需要建立爬虫代理IP池
     *  2.系统环境配置
     *   *  Ⅰ. Python环境配置
         *  Ⅱ. Redis数据库环境配置
     *  3.启动Proxy Pool项目
     *  4.封装函数写入爬虫
     *  5. 常见问题
 *  总结
 *  写在最后

--------------------

# 前言 #

看过我前两篇文章的朋友应该对本次项目非常熟悉了，这里就不再赘述。大家在进行爬取过程中会发现一个致命的问题，就是还没有爬取几个网页，自己的IP就被网站屏蔽了，博主也是这样，所以今天给大家介绍一下**IP代理池**的内容。事先声明一下，本文介绍的IP代理池并不能完全解决IP被屏蔽的问题，我这里只提供给大家一种思路，如何真正有效获取到数据需要大家自己去探索，有新方法的朋友欢迎私信我或在下方评论，仅供学习和交流！谢谢！  
后期的完整代码会公布在我的GitHub上，需要的朋友可以提前关注一下！  
[我的GitHub地址：LeoWang91][GitHub_LeoWang91]

# 一、项目说明 #

项目需求：股吧中人们的言论行为和股市涨跌的延迟相关性  
数据来源：[东方财富网][Link 1]、[热门个股吧][Link 2]  
数据字段：阅读、评论、标题、作者、更新时间  
实现功能：读取每个公司股吧的全部页面的数据并写入excel表中

# 二、问题重述 #

[Python爬虫实战：东方财富网股吧数据爬取（一）][Python]  
[Python爬虫实战：东方财富网股吧数据爬取（二）][Python 1]  
股吧中**全部发帖信息**较多，很容易在爬取过程中**被屏蔽IP**导致爬取失败，如果你在爬取过程中发现，任意打开一个股吧的网址，出来的都是**股市实战吧、财经评论吧**，那么很不幸，你的IP也被屏蔽了！解决办法就是使用**IP代理池**，今天主要给大家介绍两种方法。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center]

1.  第一种方法是使用下面这位大神的分享内容（Proxy Pool），优点是开源免费，缺点就是代理IP不稳定且部署比较麻烦。  
    [Python爬虫代理IP池(proxy pool)][Python_IP_proxy pool]）
2.  第二种方法就是使用代理商提供的IP代理接口，嫌麻烦的朋友可以使用这种方法，当然过程中也会收取一些合理的费用。

因为部署较为繁琐，所以本次先跟大家介绍下第一种方法，第二种方法可以关注下一次的博客。

# 二、实施过程 #

*系统环境：Windows 10  
Python环境：Python 3.7  
Redis环境：Redis-x64-5.0.10*

## 1.为什么需要建立爬虫代理IP池 ##

在众多的网站防爬措施中，有一种是根据IP访问频率进行限制的，在某段时间内，当某个IP的访问量达到一定的阀值时，该IP会被拉黑或在一段时间内被禁止访问。  
这种时候，可以通过**降低爬虫的频率，或者更改IP**来应对。后者就需要有一个可用的**代理IP池**，以供爬虫工作时切换。

--------------------

## 2.系统环境配置 ##

### Ⅰ. Python环境配置 ###

1.  这次使用的是github这个开源代理ip池，先下载解压好。  
    [Python爬虫代理IP池(proxy pool)][Python_IP_proxy pool]）  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 1]
2.  配置好所需要的Python虚拟环境

pip install -r requirements.txt

1.  更新代理池的配置文件

# setting.py 为项目配置文件
    
    # 配置API服务
    HOST = "0.0.0.0"               # IP
    PORT = 5010                    # 监听端口
    
    # 配置数据库
    # 下一小节会提供下载教程
    # 123456为设置的密码 
    # 127.0.0.1:6379为默认IP和端口不要改！！
    DB_CONN = 'redis://:123456@127.0.0.1:6379/0'
    
    
    # 配置 ProxyFetcher
    # 不用管，默认就可以
    PROXY_FETCHER = [
        "freeProxy01",      # 这里是启用的代理抓取方法名，所有fetch方法位于fetcher/proxyFetcher.py
        "freeProxy02",
        # ....
    ]

### Ⅱ. Redis数据库环境配置 ###

1.  下载并配置Redis数据库环境。  
    关于**Redis数据库**，大家可能比较陌生，REmote DIctionary Server(Redis) 是一个由 Salvatore Sanfilippo 写的 key-value 存储系统，是跨平台的非关系型数据库。  
    **我自己使用的版本已经上传到[我的资源][Link 3]了，无需积分，只希望大家可以给个关注点个赞！谢谢！**  
    [【其他版本资源地址】][Link 4]  
    详细内容我猜你也不想知道，接下来看我怎么使用就行。
2.  Resis下载成功后，目录文件如下图所示，主要分为**客户端**和**服务端**。  
    服务端用来开启Redis服务，客户端则用来修改Redis的一些配置。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 2]
3.  切换目录到Redis的安装目录，启动服务端程序，注意不要关闭这个cmd的窗口

redis-server.exe redis.windows.conf

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 3]

1.  另开启一个 cmd 窗口启动客户端，原来的不要关闭，不然就无法访问服务端了

redis-cli.exe -h 127.0.0.1 -p 6379

![在这里插入图片描述][20210406131357144.png_pic_center]

1.  设置Redis的访问密码（123456：与代理池的配置相对应）  
    详细内容见我这一篇博客： [Redis数据库密码设置][Redis]

--------------------

## 3.启动Proxy Pool项目 ##

# 如果已经具备运行条件, 可用通过proxyPool.py启动。
    # 程序分为: schedule 调度程序 和 server Api服务
    
    # 启动调度程序
    python proxyPool.py schedule

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 4]

# 启动webApi服务
    python proxyPool.py server

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 5]  
PS：README中提到的Docker运行就不用管啦!  
![在这里插入图片描述][2021040616470173.png]

--------------------

## 4.封装函数写入爬虫 ##

*  启动web服务后, 默认配置下会开启 `http://127.0.0.1:5010` 的**api接口**服务:

<table> 
 <thead> 
  <tr> 
   <th>api</th> 
   <th>method</th> 
   <th>Description</th> 
   <th>arg</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>/</td> 
   <td>GET</td> 
   <td>api介绍</td> 
   <td>None</td> 
  </tr> 
  <tr> 
   <td>/get</td> 
   <td>GET</td> 
   <td>随机获取一个代理</td> 
   <td>None</td> 
  </tr> 
  <tr> 
   <td>/get_all</td> 
   <td>GET</td> 
   <td>获取所有代理</td> 
   <td>None</td> 
  </tr> 
  <tr> 
   <td>/get_status</td> 
   <td>GET</td> 
   <td>查看代理数量</td> 
   <td>None</td> 
  </tr> 
  <tr> 
   <td>/delete</td> 
   <td>GET</td> 
   <td>删除代理</td> 
   <td>proxy=host:ip</td> 
  </tr> 
 </tbody> 
</table>

*  我们将此api封装成函数，在爬虫代码中直接使用：

# api函数封装函数
    import requests
    
    def get_proxy():
        return requests.get("http://127.0.0.1:5010/get/").json()
    
    def delete_proxy(proxy):
        requests.get("http://127.0.0.1:5010/delete/?proxy={}".format(proxy))
    
    # 爬虫代码部分
    # 获取网页内容
    def getHTMLText(url):
        proxy = get_proxy()
        # print(proxy) # 可以输出查看每次爬取时所用的IP地址
        try:
    	    # 使用代理访问
    	    r = requests.get(url, proxies={ "http": "http://{}".format(proxy)}, timeout=20)
    	    r.raise_for_status()
    	    r.encoding = r.apparent_encoding
    	    return r.text
    	except Exception:
    	    print("获取" + str(url) + "网页内容失败！")
    
    def ......

## 5. 常见问题 ##

1.  验证IP代理成功的方法  
    打开`http://127.0.0.1:5010/get/`页面，不断刷新，查看IP地址是否变化：  
    ![在这里插入图片描述][20210406172108618.png_pic_center]
2.  IP代理池的不稳定体现  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 6]

# 总结 #

**IP代理池**针对某些特定网址来说确实很实用，但也不是万能的，加上代理池本身的不稳定，在爬取网页过程中依然会出问题。  
下一节会给大家介绍我使用过的一款由代理商提供的IP代理池，相比于GitHub开源的项目来说，它的操作非常简便，同时也非常稳定。  
**点个赞加个关注再走啦！**

# 写在最后 #

**【学习交流】  
WX：WL1498544910**

**【文末小宣传】**  
**----博主自己开发的小程序，希望大家点赞支持一下，谢谢！-----**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 7]

[Python]: https://blog.csdn.net/qq_45538469/article/details/113408733
[Python 1]: https://blog.csdn.net/qq_45538469/article/details/114776480
[Python 2]: https://blog.csdn.net/qq_45538469/article/details/115457422
[Python 3]: https://blog.csdn.net/qq_45538469/article/details/115471702
[GitHub_LeoWang91]: https://github.com/LeoWang91
[Link 1]: https://guba.eastmoney.com/
[Link 2]: https://guba.eastmoney.com/default,0_1.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221022/4b399972fcaf49ccb2d1e6af73f3e4d8.png
[Python_IP_proxy pool]: https://github.com/jhao104/proxy_pool
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221022/b3ac08963417432ea2eab4fd3489b102.png
[Link 3]: https://download.csdn.net/download/qq_45538469/16487948
[Link 4]: https://github.com/tporadowski/redis/releases
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221022/59c3fe5534f0485d90a888e5dee91cf9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221022/5f313c265bca4a10b3e6e6ac507feb08.png
[20210406131357144.png_pic_center]: /images/20221022/c3ff018a6be947a18b5bfb4ea862102d.png
[Redis]: https://blog.csdn.net/qq_45538469/article/details/115458730
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221022/92894ffaef32490286b221aa0721b177.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221022/5c6fff71a21449b99323b8790528cbf2.png
[2021040616470173.png]: /images/20221022/839d2c948ba2412e9ba9a139de642566.png
[20210406172108618.png_pic_center]: /images/20221022/9474396ecf12419dbeb607a8847a5415.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221022/49265e9fcc164b5db0198eee83853d0f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221022/eb68c873478e4fc18d26ed1a9a1f72d3.png