【Python网络爬虫笔记】BeautifulSoup模块基础

悠悠 2023-07-18 06:17 21阅读 0赞

**学习资源**：[中国大学MOOC Python网络爬虫与信息提取 北京理工大学计算机学院 嵩天][MOOC Python_ _]

--------------------

## 安装BeautifulSoup模块 ##

和requests模块一样，如果使用Anaconda 3的话，是自带BeautifulSoup模块的。如果没有BeautifulSoup模块的话，只需要以管理员身份打开cmd，输入命令`pip install beautifulsoup4`即可安装。

## BeautifulSoup的基本元素 ##

BeautifulSoup是解析、遍历、维护“标签树”的功能库。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 1]  
  要想引用BeautifulSoup模块，我们需要以下面的语句来导入：

from bs4 import BeautifulSoup
    import bs4

即主要是用BeautifulSoup类。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 2]  
  下表是对BeautifulSoup库解析器的说明：

<table> 
 <thead> 
  <tr> 
   <th>解析器</th> 
   <th>使用方法</th> 
   <th>条件</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>bs4的HTML解析器</td> 
   <td>BeautifulSoup(mk, ‘html.parser’)</td> 
   <td>安装bs4库</td> 
  </tr> 
  <tr> 
   <td>lxml的HTML解析器</td> 
   <td>BeautifulSoup(mk, ‘lxml’)</td> 
   <td>pip install lxml</td> 
  </tr> 
  <tr> 
   <td>lxml的XML解析器</td> 
   <td>BeautifulSoup(mk, ‘xml’)</td> 
   <td>pip install lxml</td> 
  </tr> 
  <tr> 
   <td>html5lib的解析器</td> 
   <td>BeautifulSoup(mk, ‘html5lib’)</td> 
   <td>pip install html5lib</td> 
  </tr> 
 </tbody> 
</table>

下面来简单说明BeautifulSoup类的基本元素：

<table> 
 <thead> 
  <tr> 
   <th>基本元素</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Tag</td> 
   <td>标签，最基本的信息组织单元，分别用&lt;&gt;和&lt;/&gt;标明开头和结尾</td> 
  </tr> 
  <tr> 
   <td>Name</td> 
   <td>标签的名字，&lt;p&gt;…&lt;/p&gt;的名字是“p”，格式：&lt;tag&gt;.name</td> 
  </tr> 
  <tr> 
   <td>Attributes</td> 
   <td>标签的属性，字典形式组织，格式：&lt;tag&gt;.attrs</td> 
  </tr> 
  <tr> 
   <td>NavigableString</td> 
   <td>标签内非属性字符串，&lt;&gt;…&lt;/&gt;中字符串，格式：&lt;tag&gt;.string</td> 
  </tr> 
  <tr> 
   <td>Comment</td> 
   <td>标签内字符串的注释部分，一种特殊的Comment类型</td> 
  </tr> 
 </tbody> 
</table>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 3]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 4]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 5]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 6]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 7]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 8]

## 基于bs4的HTML内容遍历方法 ##

HTML的基本格式是：<>…</>构成了所属关系，形成了标签的树形结构，如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 9]  
  对标签树的遍历可以分为三种：下行遍历、上行遍历和平行遍历。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 10]  
**标签树的下行遍历**

<table> 
 <thead> 
  <tr> 
   <th>属性</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>.contents</td> 
   <td>子节点的列表，将&lt;tag&gt;所有儿子节点存入列表</td> 
  </tr> 
  <tr> 
   <td>.children</td> 
   <td>子节点的迭代类型，与.contents类似，用于循环遍历儿子节点</td> 
  </tr> 
  <tr> 
   <td>.descendants</td> 
   <td>子孙节点的迭代类型，包含所有子孙节点，用于循环遍历</td> 
  </tr> 
 </tbody> 
</table>

BeautifulSoup类型是标签树的根节点。

**标签树的上行遍历**

<table> 
 <thead> 
  <tr> 
   <th>属性</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>.parent</td> 
   <td>节点的父亲标签</td> 
  </tr> 
  <tr> 
   <td>.parents</td> 
   <td>节点先辈标签的迭代类型，用于循环遍历先辈节点</td> 
  </tr> 
 </tbody> 
</table>

**标签树的平行遍历**

<table> 
 <thead> 
  <tr> 
   <th>属性</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>.next_sibling</td> 
   <td>返回按照HTML文本顺序的下一个平行节点标签</td> 
  </tr> 
  <tr> 
   <td>.previous_sibling</td> 
   <td>返回按照HTML文本顺序的上一个平行节点标签</td> 
  </tr> 
  <tr> 
   <td>.next_siblings</td> 
   <td>迭代类型，返回按照HTML文本顺序的后续所有平行节点标签</td> 
  </tr> 
  <tr> 
   <td>.previous_siblings</td> 
   <td>迭代类型，返回按照HTML文本顺序的前续所有平行节点标签</td> 
  </tr> 
 </tbody> 
</table>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 11]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 12]

## 基于bs4的HTML格式输出 ##

**prettify()方法**  
  `prettify()`为HTML文本<>及其内容增加`\n`。该方法可用于标签，语法为`<tag>.prettify()`。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 13]  
**bs4的编码**  
  bs4将任何HTML输入都变成utf-8编码。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 14]

[MOOC Python_ _]: https://www.icourse163.org/learn/BIT-1001870001?tid=1001962001#/learn/announce
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200324201521332.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 1]: /images/20230528/85d1d81fcbba4880b61ccdd6a3463836.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 2]: /images/20230528/4a448fa57e034ec4b691accf6be00c31.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200324205435707.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200324205450962.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200324205508452.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200324205529537.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200324205543114.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 8]: /images/20230528/0aa31e13ba044291afe3fd66a661ee47.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 9]: /images/20230528/8bd3871312b14936ad095458cff431f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 10]: /images/20230528/dab3017783b04acb927e28f1580a8865.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20200324212731322.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 12]: /images/20230528/94380ecf241042f2abb082132f293c1c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 13]: /images/20230528/277d19186e204e2a98a1c66e193cd93a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 14]: /images/20230528/04efd2e1d0a64decb598f23d577a7fcb.png