python爬虫：使用 BeautifulSoup+正则表达式提取数据

缺乏、安全感 2021-05-16 20:37 504阅读 0赞

以酷狗音乐的榜单音乐信息为例，我们要获取源代码中的部分数据：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1Njc1NDQ5_size_16_color_FFFFFF_t_70]  
查看源代码，最后的一部分数据就是我们要获取的数据：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1Njc1NDQ5_size_16_color_FFFFFF_t_70 1]  
我们可以看到，要获取的数据属于 script 标签中的内容，而且是部分内容，所以这里我们需要先获取指定的script标签中的内容，然后再从其中提取出我们需要的那部分数据，所以在这里我们使用 BeautifulSoup模块 和 正则表达式

首先导入模块

from bs4 import BeautifulSoup
    import requests
    import re

获取网页源代码

url = "https://www.kugou.com/yy/rank/home/1-23784.html?from=rank"
    html = requests.get(url).text

使用BeautifulSoup模块获取指定标签及内容

soup = BeautifulSoup(html,features="lxml")
    # 获取最后一个 script 标签及其内容
    script = soup.find_all('script')[-1]

进行到这一步我们输出一下获取到的数据

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1Njc1NDQ5_size_16_color_FFFFFF_t_70 2]  
此时获取到的是最后一个script标签中的所有内容，所以我们还需要进一步提取

使用正则表达式提取我们想要的数据

# 查找符合正则表达式的字符串 此时script变量为bs4格式 我们需要将其转化为字符串格式
    info = re.findall(r'\[.*\]',str(script))

再次输出我们获取到的数据

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1Njc1NDQ5_size_16_color_FFFFFF_t_70 3]  
除了我们需要的数据，还有两条符合正则表达式的数据也被提取出来了，所以我们只需要使用列表下标的方式获取我们想要的数据就可以了

# 获取列表中下标为1的数据
    info = re.findall(r'\[.*\]',str(script))[1]

输出看一下

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1Njc1NDQ5_size_16_color_FFFFFF_t_70 4]  
成功提取出我们想要的数据

--------------------

**完整代码**

from bs4 import BeautifulSoup
    import requests
    import re
    
    url = "https://www.kugou.com/yy/rank/home/1-23784.html?from=rank"
    html = requests.get(url).text
    # print(html)
    soup = BeautifulSoup(html,features="lxml")
    # 获取最后一个script元素
    script = soup.find_all('script')[-1]
    # print(script)
    # print(type(script))
    # 查找符合正则表达式的字符串 此时script变量为bs4格式 我们需要将其转化为字符串格式
    info = re.findall(r'\[.*\]',str(script))[1]
    print(info)
    # 替换符合正则表达式的字符串
    # info = re.sub(r'\[|\]',"",info)
    # print(type(info))
    # 分割符合正则表达式的字符串
    # info = re.split(r'\},\{',info)
    # print(info)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1Njc1NDQ5_size_16_color_FFFFFF_t_70]: /images/20210516/1883ecae23184dc78433be77b8b6c644.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1Njc1NDQ5_size_16_color_FFFFFF_t_70 1]: /images/20210516/5cd0d7d7d62b44baaff6a56e71cabf3f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1Njc1NDQ5_size_16_color_FFFFFF_t_70 2]: /images/20210516/2a3feb733a1b4c4495962f45bbe0e79c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1Njc1NDQ5_size_16_color_FFFFFF_t_70 3]: /images/20210516/0888490c6a6d4417bd88a6cdaa3d962a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1Njc1NDQ5_size_16_color_FFFFFF_t_70 4]: /images/20210516/521c8dc5441049cf93d144176348b921.png