Python爬虫实战：东方财富网股吧数据爬取（一）

客官°小女子只卖身不卖艺 2022-10-24 13:30 374阅读 0赞

# Python爬虫实战系列文章目录 #

[Python爬虫实战：东方财富网股吧数据爬取（一）][Python]  
[Python爬虫实战：东方财富网股吧数据爬取（二）][Python 1]  
[Python爬虫实战：东方财富网股吧数据爬取（三）][Python 2]  
[Python爬虫实战：东方财富网股吧数据爬取（四）][Python 3]

### 目录 ###

*  Python爬虫实战系列文章目录
 *  前言
 *  一、项目说明
 *  二、实施过程
 *   *  1.明确获取网页中哪些数据
     *  2.查看网页源代码分析结构
     *   *  ① 网页源代码
         *  ② 网页链接
     *  3.爬虫需要具备的功能
     *  4.爬取结果
 *  总结
 *  写在最后

--------------------

# 前言 #

朋友托我写个爬虫，本身是个爬虫小白的我还是接受了此次重任，总共历时五天左右，过程中遇到过无数bug，好在一路披荆斩棘，还是大差不差的完成了此次委托！但感觉这次的经历还是有必要和大家分享一下，正好最近也没有写博文了，趁这次机会赶赶进度！

# 一、项目说明 #

项目需求：股吧中人们的言论行为和股市涨跌的延迟相关性  
数据来源：[东方财富网][Link 1]、[热门个股吧][Link 2]  
数据字段：阅读、评论、标题、作者、更新时间  
实现功能：读取每个公司股吧的全部页面的数据并写入excel表中

# 二、实施过程 #

以[东方财富吧][Link 3]为例

## 1.明确获取网页中哪些数据 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center]

我们需要爬取的是东方财富吧中全部发帖信息的**阅读**、**评论**、**标题**、**作者**及**最后更新时间**这五个字段的数据，我一开始想也不是很难，解析一下网页匹配一下对应的标签值就可以了，但后面还是出现了各种各样的问题，需要大家注意一下。

--------------------

## 2.查看网页源代码分析结构 ##

### ① 网页源代码 ###

首先打开网页的**开发者工具**（Ctrl+Shift+i），在源代码中查找对应字段的标签结构。

![网页结构][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 1]  
从图中可以看出，这五个字段分别位于`<span></span>`行标签内，对应的属性分别是`"l1 a1"、"l2 a2"、"l3 a3"、"l4 a4"、"l5 a5"`。想必大家已经有思路了，我们可以通过先获取网页代码，再解析网页查询对应的五个字段，最后做一个提取就可以了。

![五类字段][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 2]

### ② 网页链接 ###

【东方财富吧：300059】  
首页：[https://guba.eastmoney.com/list,300059.html][Link 3]  
第二页：[https://guba.eastmoney.com/list,300059\_2.html][https_guba.eastmoney.com_list_300059_2.html]  
可以看出个股吧链接主要由三部分组成：**list、名称代码、页数**

I.[全部个股吧][Link 4]的数字代码

![全部个股吧在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 3]  
II. 翻页数据

![翻页数据][20210130110328118.png_pic_center]

如何得到不同股吧的所有翻页数据，着实让我找了好久，各种资源我都找了可惜还是没有发现，突然无意之中我找到了解决办法，我直接一个好家伙！

跟上述的五类字段一样，我们查看一下页数的代码字段，如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 4]  
我的第一个办法是直接解析网页后找到`<span></span>`标签下的`sumpage`属性，其内容即为总页数，本来以为原来这么好获取，结果解析完才发现，`pagernums`里的内容是动态的，即`span.on`是会随页而变化的，故直接requests并不能获取到，但是还是被我发现了玄机！  
![在这里插入图片描述][20210130105523723.png_pic_center]  
大家可以看`data-pager`这里，里面的内容是`list,300059_|452885|80|2`，我对比了几个页面后发现其中数字分别代表的是：

300059：股吧数字代码
    452885：该股吧共发帖452885条 
    80：每个页面分别有80条贴子 
    2：当前所处页面为第2页

那么这时候，我们就可以直接用累积多年的算力（小学除法）算出东方财富吧共有`452885/80=5661.0625`，向上取整共`5662`页！如果你也脱口而出好家伙的话，请在屏幕下方打出来！  
![在这里插入图片描述][20210130104426193.png_pic_center]

--------------------

## 3.爬虫需要具备的功能 ##

基本问题解决了，我们可以开始编写爬虫了。这部分不讲代码原理，只解释代码功能。自己也是小白，如果代码存在问题或不清楚的话，欢迎大家在下方留言，我一定及时回复。

① 获取网页源代码

def getHTMLText(url):
        try:
            r = requests.get(url, timeout=30)
            r.raise_for_status()
            r.encoding = r.apparent_encoding
            return r.text
        except:
            print("获取网页内容失败！")

② 解析网页并提取数据字段

def parsePage(html):
        list = [] # 我用的二维数组存储
        read = []
        comment  = []
        title  = []
        author  = []
        time  = []
        try:
            # print(html)
            soup = BeautifulSoup(html, "html.parser")
            for each in soup.find_all('span', 'l1 a1'):
                if '万' in each.string:
                    each.string = each.string[:-2]
                read.append(each.string)
            read = read[1:] # read[0] == '阅读'
            list.append(read)
            for each in soup.find_all('span', 'l2 a2'):
                comment.append(each.string)
            comment = comment[1:]  # comment[0] == '评论'
            list.append(comment)
            for each in soup.find_all('span', 'l3 a3'):
                first = each.select('a:nth-of-type(1)')
                for i in first:
                    i.find_all("a")
                    # print(i.title)
                    title.append(i.title)
            list.append(title)
            for each in soup.find_all('span', 'l4 a4'):
                first = each.select('font:nth-of-type(1)')
                for i in first:
                    i.find_all("font")
                    # print(i.title)
                    author.append(i.title)
            list.append(author)
            for each in soup.find_all('span', 'l5 a5'):
                time.append(each.string)
            time = time[1:] # time[0] == '最后更新'
            list.append(time)
        except:
            print("解析网页字段失败！")
        return list

③ 获取贴吧总页数

基于解析的网页直接find\_all也是可以的

def get_total_pages_num(url):
        try:
            chrome_options = webdriver.ChromeOptions()
            chrome_options.add_argument('--headless')
            chrome_options.add_argument('lang=zh_CN.UTF-8')
            chrome_options.add_argument(
                'User-Agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36"')
            chrome_options.add_argument('--disable-extensions')
            chrome_options.add_argument('--disable-gpu')
            chrome_options.add_argument('--no-sandbox')
    
            driver = webdriver.Chrome(options=chrome_options)
            driver.get(url)
            page_data = driver.find_element_by_xpath(
                '//div[@id="mainbody"]/div[@id="articlelistnew"]/div[@class="pager"]/span[@class="pagernums"]').get_attribute(
                'data-pager')
            # print(page_data)
            if page_data:
                # page_nums = re.findall('\|(\d+)', page_data[0])
                page_nums = page_data.split("|")
                # print(page_nums)
                total_pages = math.ceil(int(page_nums[1]) / int(page_nums[2]))
            driver.quit()
        except Exception as e:
            total_pages = 1
    
        return int(total_pages)

--------------------

## 4.爬取结果 ##

上述代码基本的字段已经可以实现爬取了，结果如下：

![爬虫结果][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 5]  
可以看到，我这里的时间多了年份，这是由于朋友研究的需要，在基于一次爬取的结果上，进行二次爬取标题所带的链接网页获得的，有关二次爬取的内容，我们再下一节再和大家分享。

![在这里插入图片描述][20210130112215724.png_pic_center]

--------------------

# 总结 #

在爬取过程中，我还遇到了很多问题诸如：  
① 部分帖子结构不同或存在冗余该如何处理（问董秘等链接）  
② 爬取过程中ip被屏蔽自动跳转页面该如何处理（代理IP池）  
… …  
这些内容在后续章节中再和大家分享，下期再见啦！

# 写在最后 #

**【学习交流】  
WX：WL1498544910**

**【文末小宣传】**  
**----博主自己开发的小程序，希望大家的点赞支持一下，谢谢！-----**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 6]

[Python]: https://blog.csdn.net/qq_45538469/article/details/113408733
[Python 1]: https://blog.csdn.net/qq_45538469/article/details/114776480
[Python 2]: https://blog.csdn.net/qq_45538469/article/details/115457422
[Python 3]: https://blog.csdn.net/qq_45538469/article/details/115471702
[Link 1]: https://guba.eastmoney.com/
[Link 2]: https://guba.eastmoney.com/default,0_1.html
[Link 3]: https://guba.eastmoney.com/list,300059.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221024/b398936255ff4616bcd138764a8dd0e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221024/58164aaff371457fb1934d9e736e7bc4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221024/1e268646d77046a0bd17ce9ab58feadf.png
[https_guba.eastmoney.com_list_300059_2.html]: https://guba.eastmoney.com/list,300059_2.html
[Link 4]: https://guba.eastmoney.com/remenba.aspx?type=1
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221024/b13d039e3b4b47a7b9a44fc66bc6f382.png
[20210130110328118.png_pic_center]: /images/20221024/05316fdcc1234a97aaf7f9d89ac0c578.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221024/cff7ebd2b17a4ddeb4c3c1e2706d3639.png
[20210130105523723.png_pic_center]: /images/20221024/002c3d9eab824126b07d57fd8638e777.png
[20210130104426193.png_pic_center]: /images/20221024/821106258945409880d95aa10d3d9529.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221024/b8246337cb6b45e583bf63a5313c6a4d.png
[20210130112215724.png_pic_center]: /images/20221024/646a8cae4e6c4309aceb29202b4665c8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTM4NDY5_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221024/e0a2bac80b684c5fbb507582989b1162.png