Python爬虫自动化，帮小姐姐解放双手

怼烎@ 2023-01-03 04:06 173阅读 0赞

![format_png][]

来源：凹凸数据

项目来源：

漂亮学姐因为工作需要，得根据已有的学校名单，采集它们的英文名称，描述，简称有的话也带上。共有 2740 条学校名称数据，一条条去搜索得到结果，然后复制粘贴到表格里，一天下来估计人都傻了。

花几分钟写了个爬虫小程序，帮助小姐姐解放了双手，成功表现了一波，学姐一阵夸奖，还请我喝了一杯美式咖啡，美滋滋。

![format_png 1][]

## 分析问题 ##

![format_png 2][]

共有 2740 条学校名称数据

在百度百科中搜索清华大学看看

![format_png 3][] ![format_png 4][]

查看网页源代码，可以惊喜的发现，简要描述的数据羡显目地躺在开头！

![format_png 5][]

经过分析可以发现，网页结构简单，可以通过构造URL请求，获取网页源码，然后从中提取我们想要的数据即可

## 爬虫代码 ##

当当当，下面该我们的爬虫上场了

![format_png 6][]

导入需要用到的库

import requests
    import pandas as pd
    from random import choice
    from lxml import etree
    import openpyxl
    import logging

基本配置参数

# 日志输出的基本配置
    logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')
    wb = openpyxl.Workbook()    # 创建工作簿对象
    sheet = wb.active    # 获取活动的工作表
    sheet.append(['学校名称', '中文简称', '学校名称（英文）', '描述', '百度百科链接'])   # 添加第一行列名
    
    # 产生随机请求头用于切换
    user_agent = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
    ......
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
        ]

读取数据、爬取网页

# 读取已有的学校名称数据
    df = pd.read_excel('学校名称.xlsx')['学校名称']
    items = df.values
    
    # 遍历  获取每所学校名称
    for item in items:
        try:
            # 随机生成请求头
            headers = {
                'User-Agent':choice(user_agent)
            }
            # 构造url
            url = f'https://baike.baidu.com/item/{item}'
            # 发送请求   获取响应
            rep = requests.get(url, headers=headers)
            # Xpath解析提取数据
            html = etree.HTML(rep.text)
            # 描述
            description = ''.join(html.xpath('/html/head/meta[4]/@content'))
            # 外文名
            en_name = '，'.join(html.xpath('//dl[@class="basicInfo-block basicInfo-left"]/dd[2]/text()')).strip()
            # 中文简称  有的话  是在dd[3]标签下
            simple_name = ''.join(html.xpath('//dl[@class="basicInfo-block basicInfo-left"]/dd[3]/text()')).strip()
            sheet.append([item, simple_name, en_name, url])
            logging.info([item, simple_name, en_name, description, url])
    
        except Exception as e:
            logging.info(e.args)
            pass
    
    # 保存数据
    wb.save('成果.xlsx')

运行效果如下：

![format_png 7][]

有 2740 页的数据需要请求爬取，为了提高爬取效率，可以使用多线程。

扫码关注**「快学Python」**（非本号）后台回复“**0106**” ，获取完整代码：

![format_png 8][]

后台回复“ **0106**”获取完整代码

运行效果如下：

![format_png 9][]

程序运行一会儿，数据就全部爬取下来啦。

因为开多线程，爬取的顺序会打乱，按照学姐给的学校名称的表格里的顺序排列好，就可以交付了。

# 程序中记录一下它原本的序号   一起写入Excel
     sort_num = items.index(item)

import pandas as pd
    
    # 读取数据
    df = pd.read_excel('成果.xlsx')
    # 按原始序号排序
    df1 = df.sort_values(by='原始序号')
    # 查看排序后的数据
    df1.head(8)

![format_png 10][]![format_png 11][]

运行效果如下：

![format_png 12][]

![format_png 13][]

[1024G\_Python、数据分析学习资源，免费送（点击）][1024G_Python]

![format_png 14][]

[format_png]: /images/20221119/5f2e0eb5f10f45b3bc9acbc401ecf8a5.png
[format_png 1]: /images/20221119/fed1451458da40f39f414be130fdaffb.png
[format_png 2]: /images/20221119/bb08cf8eae6049d7a7fa57eef1f00672.png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGg5NlAwUG1wbXl4dGlhWjdlUXV6WFBkaWNFY2JCWGJ4Y0EybmpEZ3N2R3N1WDVDNW9ud3RvVjQyeTNBSDkzOEZVWmljbXpBUTNHWWh2QmcvNjQw?x-oss-process=image/format,png
[format_png 4]: /images/20221119/f94a4a40871048fdb989ddfdf4f119aa.png
[format_png 5]: /images/20221119/895d0b9f93cb411ea9f89a355d497a92.png
[format_png 6]: /images/20221119/361a081ccf4d4739a8c131a3ff28e717.png
[format_png 7]: /images/20221119/ed7b254a059449658895a2ba49a688d5.png
[format_png 8]: /images/20221119/5aa855e242bc4ee2bd4a33903b43f1be.png
[format_png 9]: /images/20221119/d3899b6deb08457d9a29c1bcc3359544.png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGg5NlAwUG1wbXl4dGlhWjdlUXV6WFBkMlRRWktvRjJ2ZlF0dTFWT1lHazdiYTNtZnl6ZVY3MWRaNmJ3b00wS1NtTkY0SG9CWWp5RXJ3LzY0MA?x-oss-process=image/format,png
[format_png 11]: /images/20221119/d9ce6e2fbea0450485d3946a7c519852.png
[format_png 12]: /images/20221119/ce65ec2d6b89427494b5e799b8474dc5.png
[format_png 13]: /images/20221119/9a3d68180a324a14aa8b8743e067d5df.png
[1024G_Python]: https://t.1yb.co/aSGY
[format_png 14]: /images/20221119/d2cbe5552dc34f71aa26a7211a0ea2cd.png