HTML解析之BeautifulSoup

野性酷女 2023-01-08 11:24 230阅读 0赞

![format_png][]

BeautifulSoup4简称bs4，是爬虫必学的三方库，它是一个HTML/XML的解析器，主要是解析和提取 HTML/XML 数据，Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM树，而lxml（使用Xpath语法解析网页数据）是局部遍历，因此时间和内存开销都会大很多，所以性能要低于lxml。

官方文档：https://beautifulsoup.readthedocs.io/zh\_CN/latest/

## pip 安装： ##

`pip install bs4`或者`pip install beautifulsoup4`

## BeautifulSoup使用语法： ##

from bs4 import BeautifulSoup
    # 实例化一个BeautifulSoup对象，加载页面源码
    soup = BeautifulSoup(要解析的文本, "解析器")
    # 可以加载互联网上的页面到BeautifulSoup对象中。
    soup = BeautifulSoup(res.text, "lxml")
    # 可以加载本地html文档或者互联网上的页面到BeautifulSoup对象中。
    fp = open('./demo.html','r',encoding='utf-8')
    soup = BeautifulSoup(fp, "lxml")
    # 调用对象中的相关属性和方法进行标签定位和数据提取
    print(soup.p)

## 常用的解析器 ##

![format_png 1][]

推荐使用lxml作为解析器,因为效率更高。

需要安装：`pip install lxml`

## 常用的属性和方法 ##

**「首先，定义一个html文档字符串：」**

html_doc = """
 <html><head><title>The Dormouse's story</title></head>
     <body>
 <p class="title">The Dormouse's story
 
 <p class="story">Once upon a time there were three little sisters; and their names were
 <a href="http://example.com/elsie" class="sister1" id="link1">Elsie</a>,
 <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
 <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
 and they lived at the bottom of a well.
 
 <p class="story">...
 """

**「不知道文档html的格式和组织，使用prettify()按照网页格式输出」**

from bs4 import BeautifulSoup
    soup = BeautifulSoup(html_doc, "lxml")
    print(soup.prettify())

![format_png 2][]

### 访问标签tag ###

from bs4 import BeautifulSoup
 soup = BeautifulSoup(html_doc, "lxml")
 print(type(soup.p))
 print(soup.p) # 查找p标签，找到第一个
 print(soup.title) # 查找title标签
 print(soup.title.name) # 输出title标签的名字
 print(soup.body.a) # body标签下的a标签
 print(soup.a.parent.name) # a标签父节点的标签名字
 输出：
 # <class 'bs4.element.Tag'>
 # <p class="title">The Dormouse's story
 # <title>The Dormouse's story</title>
 # title
 # <a class="sister1" href="http://example.com/elsie" id="link1">Elsie</a>
 # p

### 获取标签属性值 ###

from bs4 import BeautifulSoup
    soup = BeautifulSoup(html_doc, "lxml")
    print(soup.p['class']) # 查找p标签中class内容
    #  ['title']
    print(soup.a.attrs) # 返回一个字典，获取标签所有属性
    # # {'href': 'http://example.com/elsie', 'class': ['sister1'], 'id': 'link1'}
    print(soup.a.attrs['href']) # 获取标签指定属性
    #  http://example.com/elsie

### 搜索遍历文档 ###

有时候根据文档结构不能直接获取标签，则可以使用find()和find\_all()方法获取。

**「find(name,attrs,...)」**：查找标签，返回的是一个bs4.element.Tag对象，有多个结果，只返回第一个，没有返回None

**「find\_all(name,attrs,...)」**:返回的是一个bs4.element.Tag对象组成的list，不管有没有找到，都是list

最常用的用法是出入`name`以及`attr`参数找出符合要求的标签。

from bs4 import BeautifulSoup
 soup = BeautifulSoup(html_doc, "lxml")
 print(soup.find('a')) # 查找第一个a标签
 #  <a class="sister1" href="http://example.com/elsie" id="link1">Elsie</a>
 
 # 查找id属性是link3的a标签
 print(soup.find('a', id="link3"))
 #  <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>
 
 # class是python中的内置关键字，class属性后加_ class_
 print(soup.find('a',class_="sister1"))
 #  <a class="sister1" href="http://example.com/elsie" id="link1">Elsie</a>
 
 #  搜索所有标签
 print(soup.find_all('a')) # 查找所有a标签list
 # [<a class="sister1" href="http://example.com/elsie" id="link1">Elsie</a>,
 # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
 # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
 
 # 列表索引
 print(soup.find_all('a')[2])
 # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>
 # 列表查找，返回所有a标签和b标签
 print(soup.find_all(['p','a']))

### 获取标签文本内容 ###

**「soup.标签.text/get\_text():」** 获取标签中所有文本内容，包括子节点

**「soup.标签.string：」** 获取到最里层标签，可以直接用.string的方法获取标签内的文字

**「find+contents:」** 如果不是最里层的标签，可以用find+contents的方法，该方法返回的是一个列表，获取的是标签内所有内容，可以根据索引获取特定的文本。

print(soup.a.text)
    print(soup.a.string)
    print(soup.a.get_text())
    # Elsie
    # Elsie
    # Elsie
    
    print(soup.find('p',class_="story").text)
    # Elsie,
    # Lacie and
    # Tillie;
    # and they lived at the bottom of a well.
    
    print(soup.find_all('a')[0].text)
    # Elsie
    
    print(soup.find('p').contents[0].text)
    # The Dormouse's story

![format_png 3][]

[format_png]: /images/20221119/fb15a5158c9f4a2f8f27423c27688371.png
[format_png 1]: /images/20221119/dbd34f7777e748ac8c0232b00fe9e5fb.png
[format_png 2]: /images/20221119/2305a9d0d9fd4958a3e19c87bf979b0c.png
[format_png 3]: /images/20221119/34304187caab482dbfaba679dc309565.png