Python爬虫实战：东方财富网股吧数据爬取（二）

我不是女神ヾ 2022-11-08 15:28 371阅读 0赞

# Python爬虫实战系列文章目录 #

[Python爬虫实战：东方财富网股吧数据爬取（一）][Python]  
[Python爬虫实战：东方财富网股吧数据爬取（二）][Python 1]  
[Python爬虫实战：东方财富网股吧数据爬取（三）][Python 2]  
[Python爬虫实战：东方财富网股吧数据爬取（四）][Python 3]

### 目录 ###

*  Python爬虫实战系列文章目录
 *  前言
 *  一、项目说明
 *  二、问题重述
 *  二、实施过程
 *   *  1.二次爬取获得年份数据
     *   *  Ⅰ 查看原始页面网页结构
         *  Ⅱ 查看跳转页面网页结构
         *  Ⅲ 二次爬取思路如下：
     *  2.完整爬取标题内容，避坑！
 *  总结
 *  写在最后

--------------------

# 前言 #

昨天有一位朋友私信我**如何爬取股吧的年份数据**，这才想起来很长时间没有更新这个系列了，十分抱歉。目前项目已经基本结束，已经成功爬取到东方财富网中共`2785个`股吧的热帖数据。由于目前仍在研究阶段，数据和代码暂时不会公布，之后会上传到Github上，有需要的朋友先可以关注一下~  
[我的GitHub地址：LeoWang91][GitHub_LeoWang91]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70]

# 一、项目说明 #

项目需求：股吧中人们的言论行为和股市涨跌的延迟相关性  
数据来源：[东方财富网][Link 1]、[热门个股吧][Link 2]  
数据字段：阅读、评论、标题、作者、更新时间  
实现功能：读取每个公司股吧的全部页面的数据并写入excel表中

# 二、问题重述 #

[Python爬虫实战：东方财富网股吧数据爬取（一）][Python]  
在上篇博客中，我们已经可以初步爬取到东方财富吧中全部发帖信息的**阅读**、**评论**、**标题**、**作者**及**最后更新时间**这五个字段的数据，但是由于该网站本身结构的原因，导致我在爬取的过程中踩坑无数，简单归纳为以下几点：

1.  股吧中**全部发帖信息**较多，很容易在爬取过程中**被屏蔽IP**导致爬取失败，如果你在爬取过程中发现，任意打开一个股吧的网址，出来的都是**股市实战吧、财经评论吧**，那么很不幸，你的IP也被屏蔽了！解决办法就是使用**IP代理池**，感谢下面这位大神的分享。时间问题，关于IP代理池的详细使用我们留到下篇博客再说，请大家见谅。  
    [Python爬虫代理IP池(proxy pool)][Python_IP_proxy pool]）  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center]
2.  简单看过我第一篇博客的朋友应该都知道，在股吧的页面中，**最后更新时间**这一个字段没有出现**年份数据**，没有年份数据做研究也就失去了意义，今天就和大家分享一下如何进行**二次爬取**。
3.  在我爬取过程中，部分**标题**的网页结构很奇怪，导致我们利用**匹配规则**不能获取到标题信息，今天和大家分享一下我的解决办法。

# 二、实施过程 #

[以东方财富吧全部股吧的热帖数据为例][Link 3]

## 1.二次爬取获得年份数据 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 1]

### Ⅰ 查看原始页面网页结构 ###

在股吧的热帖页面中，我们可以看到**最后更新**这一字段并没有年份信息，点击查看网页结构：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 2]  
我们可以看到，该标题标签为：

<a href="/news,000980,1012733179.html" title="坚定让我持有众泰，第一，因为自己永康人，第二，吧里太团结了，我都不敢相信，团结力">坚定让我持有众泰，第一，因为自己永康人，第二，吧里</a>

### Ⅱ 查看跳转页面网页结构 ###

点击网页中这条贴吧，查看网址链接及字段内容：  
链接：[https://guba.eastmoney.com/news,000980,1012733179.html][https_guba.eastmoney.com_news_000980_1012733179.html]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 3]

### Ⅲ 二次爬取思路如下： ###

我们在一次爬取标题时，可以先获取标题`title`及所带的链接`whole_url`：  
**注意：由于`<a><a/>`标签中的链接是不完整的，所以需要拼接两个网址**

# 需要使用的库
    from bs4 import BeautifulSoup
    from urllib import parse
    
    # 字段声明
    title  = [] # 存放当前页面所有标题信息
    post_urls = [] # 存放当前页面所有跳转页面的完整链接信息
    
    ## 部分代码，不可直接复制
    # html是经过解析后的网页内容
    # url是当前某一股吧热帖的页面链接
    soup = BeautifulSoup(html, "html.parser")
    for each in soup.find_all('span', 'l3 a3'):
        first = each.select('a:nth-of-type(1)')# 选择器
        for i in first:
            title.append(i.title)
            news_comment_urls = i.get('href')
            # print(news_comment_urls)
            # 用 urllib 的 urljoin() 拼接两个网址
            # 第一个参数是基础母站的url，第二个是需要拼接成绝对路径的url
            whole_url = parse.urljoin(url, news_comment_urls)
            # print(whole_url)
            post_urls.append(whole_url)

现在`whole_url`中已经获取到该帖的网址链接，则只需解析该网页结构，捕捉到含有年份的数据字段，重新写入`time列表`中即可：

<div class="zwfbtime">发表于 2021-03-14 08:09:22 东方财富Android版</div>

**注意：由于我们只需要时间信息，所以需要对`div`中的字段做个提取**  
![在这里插入图片描述][20210314095121827.png_pic_center]

# 获取网页内容
    def getHTMLText(url):
        try:
            r = requests.get(url, timeout=(3,7))
            r.raise_for_status()
            r.encoding = r.apparent_encoding
            return r.text       
        except:
            print("获取" + str(url) + "网页内容失败！")
    
    # 获取年份时间的完整代码
    def getTime(html):
        time = ''
        try:
            soup = BeautifulSoup(html, "html.parser")
            time = soup.find('div', 'zwfbtime')# 从网页结构得出
            if time is None:
                time = ''
            else:
            	# 发表于 2021-03-14 08:09:22 东方财富Android版
            	# ["发表于","2021-03-14","08:09:22","东方财富Android版"]
            	# 提取时间信息
                time = ' '.join(time.string.split(' ')[1:3])
        except:
            print("未获取到动态时间")
        return time
    
    ## 部分代码，不可直接复制
    time = []  # 存放当前页面所有时间信息
    # 先获取到原始页面的时间信息
    for each in soup.find_all('span', 'l5 a5'):
        time.append(each.string)
    time = time[1:] # 除去页面开始含有的“最后更新”字符串
    # 二次爬取含有年份的时间信息
    for t in range(len(time)):
        text = getHTMLText(post_urls[t])
        gettime = getTime(text)
        # print(time)
        time[t] = gettime

这时候我们的**最后更新时间**字段就全部变成有年份信息的啦！  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 4]

--------------------

## 2.完整爬取标题内容，避坑！ ##

在爬取标题内容的过程中，中间出现很多错误，但是由于忘记打印日志了，一时半会找不到具体例子，所以直接把自己的**解决办法**拿出来分享啦，主要改变的是上面说的**标题`title`及所带的链接`whole_url`的代码**部分。

# 部分代码，不可直接复制
    for each in soup.find_all('span', 'l3 a3'):
          first = each.select('a:nth-of-type(1)')
          if not first:
              title.append('None')
              post_urls.append('None')
              continue
          count = 0
          for i in first:
              count = count + 1
          for i in first:
              i.find_all("a")
              if i.get('href')[:5] == '//ask':
                  continue
              if i.title== '问董秘' and i.get('href')[:5] != '/news':
                  continue
              if count >= 2:
                  if i.get('href')[:5] != '/news':
                      continue
              title.append(i.title)
              news_comment_urls = i.get('href')
              # print(news_comment_urls)
              # 用 urllib 的 urljoin() 拼接两个网址
              # 第一个参数是基础母站的url，第二个是需要拼接成绝对路径的url
              whole_url = parse.urljoin(url, news_comment_urls)
              # print(whole_url)
              post_urls.append(whole_url)

--------------------

# 总结 #

说到这里，爬取东方财富网股吧数据的细节部分说的差不多了，如果我想到新的内容再和大家分享，关于**IP代理池**的详细使用说明，就在下一章节中再和大家分享啦，下期再见啦！

# 写在最后 #

**【学习交流】  
WX：WL1498544910**

**【文末小宣传】**  
**----博主自己开发的小程序，希望大家的点赞支持一下，谢谢！-----**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 5]

[Python]: https://blog.csdn.net/qq_45538469/article/details/113408733
[Python 1]: https://blog.csdn.net/qq_45538469/article/details/114776480
[Python 2]: https://blog.csdn.net/qq_45538469/article/details/115457422
[Python 3]: https://blog.csdn.net/qq_45538469/article/details/115471702
[GitHub_LeoWang91]: https://github.com/LeoWang91
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70]: /images/20221023/da9027bcb5ae4975930b2915bbcd79f6.png
[Link 1]: https://guba.eastmoney.com/
[Link 2]: https://guba.eastmoney.com/default,0_1.html
[Python_IP_proxy pool]: https://github.com/jhao104/proxy_pool
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221023/8c64f6c28ca44dfc8ff446f9638f6ac6.png
[Link 3]: https://guba.eastmoney.com/remenba.aspx?type=1
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221023/b70edb15457c46509da7703497e64a67.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221023/ec4163d5ba9a41e98c0d4eba2ecad939.png
[https_guba.eastmoney.com_news_000980_1012733179.html]: https://guba.eastmoney.com/news,000980,1012733179.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221023/e96044cd1a6c46e49b8a517eeb0d7cb3.png
[20210314095121827.png_pic_center]: /images/20221023/7078f9328fdf4feb9dd8f4337c335ef1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221023/0b502eeda6df405587ed27d2f5ef7220.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221023/fabe11b3b2624e07828255dd247546f6.png