Python Xpath和 lxml库的使用

爱被打了一巴掌 2023-10-08 21:06 13阅读 0赞

### 一、Xpath表达式： ###

XPath（全称：XML Path Language）即 XML 路径语言，它是一门在 XML 文档中查找信息的语言，最初被用来搜寻 XML 文档，同时它也适用于搜索 HTML 文档。因此，在爬虫过程中可以使用 XPath 来提取相应的数据。

### Xpath节点:有父、子、同代、先辈、后代节点 ###

<?xml version="1.0" encoding="utf-8"?>
    <shop>
        <book>
          <title lang="zh-CN">java</title>
          <name>Java编程思想</name>
          <year>2011</year>
          <address>www.baidu.com</address>
        </book>
    </shop>

> 说明：
> 
>     title name year address 都是 book 的子节点
>     book 是 title name year address  父节点
>     title name year address  属于同代节点
>     title 元素的先辈节点是 book shop
>     shop 的后代节点是 book title name year address

### 二、Xpath基本语法 ###

**1) 基本语法**

![f65de343462746a883e3107525a81d8d.png][]

**2) xpath通配符**

![110e317a159a47fa8f397e4739dffb8c.png][]

<table> 
 <tbody> 
  <tr> 
   <td>xpath（'/div/*'）</td> 
   <td>选取div下的所有子节点</td> 
  </tr> 
  <tr> 
   <td>xpath('/div[@*]')</td> 
   <td>选取所有带属性的div节点</td> 
  </tr> 
 </tbody> 
</table>

**3) 多路径匹配**

> xpath表达式1 | xpath表达式2 | xpath表达式3

<table> 
 <tbody> 
  <tr> 
   <td>xpath('//div|//table')</td> 
   <td>选取所有的div和table节点</td> 
  </tr> 
 </tbody> 
</table>

**4）功能函数**

![f4c82756d8714e9aa2628adb4d74c981.png][]

### 三、lxml库 ###

lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 Xpath 表达式提供了良好的支持，因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。

#### **3.1 安装lxml库**  ####

>     pip3 install lxml

**3.2 lxml使用流程**

1) 导入模块

>     from lxml import etree

2)创建解析对象

>     parse_html = etree.HTML(html)

3) 调用xpath表达式

>     r_list = parse_html.xpath('xpath表达式')

4) lxml库数据提取

> print(r\_list)

### 四、实战案例 ###

*  [豆瓣书店][Link 1]

#豆瓣书店
    import requests
    from lxml import  etree
    
    if __name__ == '__main__':
        url='https://market.douban.com/book/?utm_campaign=book_nav_freyr&utm_source=douban&utm_medium=pc_web'
        headers_={
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36"
        }
        res=requests.get(url,headers_)
        # print(res.text)
        html=etree.HTML(res.text)
        #获取所有的li
        lis=html.xpath('.//li[@class="book-item"]')
        #循环
        for li in lis:
            #获取li下的图片
            img=li.xpath('.//div[@class="panel-img"]/img/@src')[0]
            # print(img)
            # 获取li下的标题
            title = li.xpath('.//div[@class="panel-detail"]/div/h3/text()')[0]
            print(img, title)

![d9376c4fa17e44d1be0fd83bea326253.png][]

![a55714970eb14166a9e220373f2b7535.png][]

[f65de343462746a883e3107525a81d8d.png]: https://img-blog.csdnimg.cn/f65de343462746a883e3107525a81d8d.png
[110e317a159a47fa8f397e4739dffb8c.png]: https://img-blog.csdnimg.cn/110e317a159a47fa8f397e4739dffb8c.png
[f4c82756d8714e9aa2628adb4d74c981.png]: https://img-blog.csdnimg.cn/f4c82756d8714e9aa2628adb4d74c981.png
[Link 1]: https://market.douban.com/book?utm_campaign=book_nav_freyr&utm_source=douban&utm_medium=pc_web
[d9376c4fa17e44d1be0fd83bea326253.png]: https://img-blog.csdnimg.cn/d9376c4fa17e44d1be0fd83bea326253.png
[a55714970eb14166a9e220373f2b7535.png]: https://img-blog.csdnimg.cn/a55714970eb14166a9e220373f2b7535.png