python网络爬虫之BeautifulSoup库

逃离我推掉我的手 2022-06-01 03:17 275阅读 0赞

如果没有这个库的话，请先安装，最简单的安装方式是，打开cmd，输入

pip install beautifulsoup4

1、Beautiful Soup类基本元素

<table> 
 <tbody> 
  <tr> 
   <td>基本元素</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>Tag</td> 
   <td>标签，最基本的信息组织单元，分别用&lt;&gt;和&lt;/&gt;标明开头和结尾</td> 
  </tr> 
  <tr> 
   <td>Name</td> 
   <td>标签的名字，&lt;p&gt;...&lt;/p&gt;的名字是‘p'，格式&lt;tag&gt;.name</td> 
  </tr> 
  <tr> 
   <td>Attributes</td> 
   <td>标签的属性，字典形式组织，格式：&lt;tag&gt;.attrs</td> 
  </tr> 
  <tr> 
   <td>NavigableString</td> 
   <td>标签内非属性的字符串，&lt;&gt;...&lt;/&gt;中字符串，格式：&lt;tag&gt;.string</td> 
  </tr> 
  <tr> 
   <td>Comment</td> 
   <td>标签内字符串的注释部分，一种特殊的comment</td> 
  </tr> 
 </tbody> 
</table>

2、标签树的下行遍历

<table> 
 <tbody> 
  <tr> 
   <td>属性</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>.contents</td> 
   <td>子节点的列表，将&lt;tag&gt;所有儿子节点存入列表</td> 
  </tr> 
  <tr> 
   <td>.children</td> 
   <td>子节点的迭代类型，与上一个类似，用与循环遍历儿子节点</td> 
  </tr> 
  <tr> 
   <td>.descendants</td> 
   <td>子孙节点的迭代类型，包含所有子孙节点，用于循环遍历</td> 
  </tr> 
 </tbody> 
</table>

3、标签树的上行遍历

<table> 
 <tbody> 
  <tr> 
   <td>属性</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>.parent</td> 
   <td>节点的父亲节点</td> 
  </tr> 
  <tr> 
   <td>.parents</td> 
   <td>节点先辈标签的迭代类型，用于循环遍历先辈节点</td> 
  </tr> 
 </tbody> 
</table>

4、标签树的平行遍历

<table> 
 <tbody> 
  <tr> 
   <td>属性</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>.next_sibling</td> 
   <td>返回按照HTML文本顺序的下一个平行节点标签</td> 
  </tr> 
  <tr> 
   <td>.previous_sibling</td> 
   <td><span style="font-family: Arial, Verdana, sans-serif; font-size: 14px; background-color: rgb(255, 255, 255);">返回按照HTML文本顺序的上一个平行节点标签</span></td> 
  </tr> 
  <tr> 
   <td>.next_siblings</td> 
   <td>迭代类型，返回按照HTML文本顺序的后续所有平行节点标签</td> 
  </tr> 
  <tr> 
   <td>.previous_siblings</td> 
   <td><span style="font-family: Arial, Verdana, sans-serif; font-size: 14px; background-color: rgb(255, 255, 255);">迭代类型，返回按照HTML文本顺序的前续所有平行节点标签</span></td> 
  </tr> 
 </tbody> 
</table>