xPath 用法总结整理

末蓝、 2022-05-23 11:57 216阅读 0赞

最近在研究kafka，看了一堆理论的东西，想动手实践一些东西，奈何手上的数据比较少，突发奇想就打算写个爬虫去抓一些数据来玩，顺便把深入一下爬虫技术。

之前写过一些小爬虫，一般就是用python的requests+lxml来爬取数据。这次打算学一下python的scrapy框架来爬取数据。解析网页内容还是打算用lxml，lxml使用了xpath语法，由于太久没用都忘光了。所以打算重新学习一下xpath语法，并做个总结，方便以后忘了可以马上回顾。

## 一、xpath介绍 ##

XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。

*  XPath 使用路径表达式在 XML 文档中进行导航
 *  XPath 包含一个标准函数库
 *  XPath 是 XSLT 中的主要元素
 *  XPath 是一个 W3C 标准

#### 节点 ####

在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。

## 二、xpath语法 ##

<table> 
 <thead> 
  <tr> 
   <th>表达式</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>nodename</td> 
   <td>选取此节点的所有子节点。</td> 
  </tr> 
  <tr> 
   <td>/</td> 
   <td>从根节点选取。</td> 
  </tr> 
  <tr> 
   <td>//</td> 
   <td>从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。</td> 
  </tr> 
  <tr> 
   <td>.</td> 
   <td>选取当前节点。</td> 
  </tr> 
  <tr> 
   <td>..</td> 
   <td>选取当前节点的父节点。</td> 
  </tr> 
  <tr> 
   <td>@</td> 
   <td>选取属性。</td> 
  </tr> 
 </tbody> 
</table>

#### 例子 ####

以下面这个xml为例子

<?xml version="1.0" encoding="ISO-8859-1"?>
    
    <bookstore>
    
    <book>
      <title lang="eng">Harry Potter</title>
      <price>29.99</price>
    </book>
    
    <book>
      <title lang="eng">Learning XML</title>
      <price>39.95</price>
    </book>
    
    </bookstore>

*  **xml.xpath(“bookstore”)** 表示选取 bookstore 元素的所有子节点
 *  **xml.xpath(“/bookstore”)** 表示选取根元素 bookstore。
 *  **xml.xpath(“bookstore/book”)** 选取属于 bookstore 的子元素的所有 book 元素。
 *  **xml.xpath(“//book”)** 选取所有 book 子元素，而不管它们在文档中的位置。
 *  **xml.xpath(“bookstore//book”)** 选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
 *  **xml.xpath(“//@lang”)** 选取名为 lang 的所有属性。

#### 谓语 ####

<table> 
 <thead> 
  <tr> 
   <th>路径表达式</th> 
   <th>结果</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>/bookstore/book[1]</td> 
   <td>选取属于 bookstore 子元素的第一个 book 元素。</td> 
  </tr> 
  <tr> 
   <td>/bookstore/book[last()]</td> 
   <td>选取属于 bookstore 子元素的最后一个 book 元素。</td> 
  </tr> 
  <tr> 
   <td>/bookstore/book[last()-1]</td> 
   <td>选取属于 bookstore 子元素的倒数第二个 book 元素。</td> 
  </tr> 
  <tr> 
   <td>/bookstore/book[position()&lt;3]</td> 
   <td>选取最前面的两个属于 bookstore 元素的子元素的 book 元素。</td> 
  </tr> 
  <tr> 
   <td>//title[@lang]</td> 
   <td>选取所有拥有名为 lang 的属性的 title 元素。</td> 
  </tr> 
  <tr> 
   <td>//title[@lang=’eng’]</td> 
   <td>选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。</td> 
  </tr> 
  <tr> 
   <td>/bookstore/book[price&gt;35.00]</td> 
   <td>选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。</td> 
  </tr> 
  <tr> 
   <td>/bookstore/book[price&gt;35.00]/title</td> 
   <td>选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。</td> 
  </tr> 
 </tbody> 
</table>

#### 选取未知节点 ####

<table> 
 <thead> 
  <tr> 
   <th>通配符</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>*</td> 
   <td>匹配任何元素节点。</td> 
  </tr> 
  <tr> 
   <td>@*</td> 
   <td>匹配任何属性节点。</td> 
  </tr> 
  <tr> 
   <td>node()</td> 
   <td>匹配任何类型的节点。</td> 
  </tr> 
 </tbody> 
</table>

例子：

<table> 
 <thead> 
  <tr> 
   <th>路径表达式</th> 
   <th>结果</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>/bookstore/*</td> 
   <td>选取 bookstore 元素的所有子元素。</td> 
  </tr> 
  <tr> 
   <td>//*</td> 
   <td>选取文档中的所有元素。</td> 
  </tr> 
  <tr> 
   <td>//title[@*]</td> 
   <td>选取所有带有属性的 title 元素。</td> 
  </tr> 
 </tbody> 
</table>

#### 选取若干路径 ####

通过在路径表达式中使用“|”运算符，您可以选取若干个路径。

*  `//book/title | //book/price` 选取 book 元素的所有 title 和 price 元素。
 *  `//title | //price` 选取文档中的所有 title 和 price 元素。
 *  `/bookstore/book/title | //price` 选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。

## 三、轴 ##

轴可定义相对于当前节点的节点集。

<table> 
 <thead> 
  <tr> 
   <th>轴名称</th> 
   <th>结果</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>ancestor</td> 
   <td>选取当前节点的所有先辈（父、祖父等）。</td> 
  </tr> 
  <tr> 
   <td>ancestor-or-self</td> 
   <td>选取当前节点的所有先辈（父、祖父等）以及当前节点本身。</td> 
  </tr> 
  <tr> 
   <td>attribute</td> 
   <td>选取当前节点的所有属性。</td> 
  </tr> 
  <tr> 
   <td>child</td> 
   <td>选取当前节点的所有子元素。</td> 
  </tr> 
  <tr> 
   <td>descendant</td> 
   <td>选取当前节点的所有后代元素（子、孙等）。</td> 
  </tr> 
  <tr> 
   <td>descendant-or-self</td> 
   <td>选取当前节点的所有后代元素（子、孙等）以及当前节点本身。</td> 
  </tr> 
  <tr> 
   <td>following</td> 
   <td>选取文档中当前节点的结束标签之后的所有节点。</td> 
  </tr> 
  <tr> 
   <td>namespace</td> 
   <td>选取当前节点的所有命名空间节点。</td> 
  </tr> 
  <tr> 
   <td>parent</td> 
   <td>选取当前节点的父节点。</td> 
  </tr> 
  <tr> 
   <td>preceding</td> 
   <td>选取文档中当前节点的开始标签之前的所有节点。</td> 
  </tr> 
  <tr> 
   <td>preceding-sibling</td> 
   <td>选取当前节点之前的所有同级节点。</td> 
  </tr> 
  <tr> 
   <td>self</td> 
   <td>选取当前节点。</td> 
  </tr> 
 </tbody> 
</table>

**步的语法：**  
`轴名称::节点测试[谓语]`

例子：

<table> 
 <thead> 
  <tr> 
   <th>例子</th> 
   <th>结果</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>child::book</td> 
   <td>选取所有属于当前节点的子元素的 book 节点。</td> 
  </tr> 
  <tr> 
   <td>attribute::lang</td> 
   <td>选取当前节点的 lang 属性。</td> 
  </tr> 
  <tr> 
   <td>child::*</td> 
   <td>选取当前节点的所有子元素。</td> 
  </tr> 
  <tr> 
   <td>attribute::*</td> 
   <td>选取当前节点的所有属性。</td> 
  </tr> 
  <tr> 
   <td>child::text()</td> 
   <td>选取当前节点的所有文本子节点。</td> 
  </tr> 
  <tr> 
   <td>child::node()</td> 
   <td>选取当前节点的所有子节点。</td> 
  </tr> 
  <tr> 
   <td>descendant::book</td> 
   <td>选取当前节点的所有 book 后代。</td> 
  </tr> 
  <tr> 
   <td>ancestor::book</td> 
   <td>选择当前节点的所有 book 先辈。</td> 
  </tr> 
  <tr> 
   <td>ancestor-or-self::book</td> 
   <td>选取当前节点的所有 book 先辈以及当前节点（如果此节点是 book 节点）</td> 
  </tr> 
  <tr> 
   <td>child::*/child::price</td> 
   <td>选取当前节点的所有 price 孙节点。</td> 
  </tr> 
 </tbody> 
</table>

## 四、一些函数 ##

#### 1. starts-with函数 ####

获取以xxx开头的元素  
例子：xpath(‘//div\[stars-with(@class,”test”)\]’)

### **2 contains函数** ###

获取包含xxx的元素  
例子：xpath(‘//div\[contains(@id,”test”)\]’)

#### **3 and** ####

与的关系  
例子：xpath(‘//div\[contains(@id,”test”) and contains(@id,”title”)\]’)

#### **4 text()函数** ####

例子1：xpath(‘//div\[contains(text(),”test”)\]’)  
例子2：xpath(‘//div\[@id=”“test\]/text()’)

## 五、一个lxml的xpath示例 ##

下面这个代码来自[http://www.cnblogs.com/descusr/archive/2012/06/20/2557075.html][http_www.cnblogs.com_descusr_archive_2012_06_20_2557075.html]

#coding=utf-8
    
    from lxml import etree
    
    html = ''' <html> 　　<head> 　　　　<meta name="content-type" content="text/html; charset=utf-8" /> 　　　　<title>友情链接查询 - 站长工具</title> 　　　　 　　　　<meta name="Keywords" content="友情链接查询" /> 　　　　<meta name="Description" content="友情链接查询" /> 　　</head> 　　<body> 　　　　<h1 class="heading">Top News</h1> 　　　　<p style="font-size: 200%">World News only on this page</p> 　　　　Ah, and here's some more text, by the way. 　　　　<p>... and this is a parsed fragment ...</p> 　　　　<a href="http://www.cydf.org.cn/" rel="nofollow" target="_blank">青少年发展基金会</a> 　　　　<a href="http://www.4399.com/flash/32979.htm" target="_blank">洛克王国</a> 　　　　<a href="http://www.4399.com/flash/35538.htm" target="_blank">奥拉星</a> 　　　　<a href="http://game.3533.com/game/" target="_blank">手机游戏</a> 　　　　<a href="http://game.3533.com/tupian/" target="_blank">手机壁纸</a> 　　　　<a href="http://www.4399.com/" target="_blank">4399小游戏</a> 　　　　<a href="http://www.91wan.com/" target="_blank">91wan游戏</a> 　　</body> </html> '''
    page = etree.HTML(html.lower().decode('utf-8'))
    hrefs = page.xpath(u"//a")
    for href in hrefs:
        print href.attrib

打印出的结果为：

\{‘href’: ‘[http://www.cydf.org.cn/][http_www.cydf.org.cn]‘, ‘target’: ‘\_blank’, ‘rel’: ‘nofollow’\}  
\{‘href’: ‘[http://www.4399.com/flash/32979.htm][http_www.4399.com_flash_32979.htm]‘, ‘target’: ‘\_blank’\}  
\{‘href’: ‘[http://www.4399.com/flash/35538.htm][http_www.4399.com_flash_35538.htm]‘, ‘target’: ‘\_blank’\}  
\{‘href’: ‘[http://game.3533.com/game/][http_game.3533.com_game]‘, ‘target’: ‘\_blank’\}  
\{‘href’: ‘[http://game.3533.com/tupian/][http_game.3533.com_tupian]‘, ‘target’: ‘\_blank’\}  
\{‘href’: ‘[http://www.4399.com/][http_www.4399.com]‘, ‘target’: ‘\_blank’\}  
\{‘href’: ‘[http://www.91wan.com/][http_www.91wan.com]‘, ‘target’: ‘\_blank’\}

如果要获取标签a之间的内容，就可以用`print href.text`输出

## 六、总结 ##

上面的内容大多都是抄自网上的一些资料。这里只是做了一个大概的总结，后面如果有漏的还会补充。

[http_www.cnblogs.com_descusr_archive_2012_06_20_2557075.html]: http://www.cnblogs.com/descusr/archive/2012/06/20/2557075.html
[http_www.cydf.org.cn]: http://www.cydf.org.cn/
[http_www.4399.com_flash_32979.htm]: http://www.4399.com/flash/32979.htm
[http_www.4399.com_flash_35538.htm]: http://www.4399.com/flash/35538.htm
[http_game.3533.com_game]: http://game.3533.com/game/
[http_game.3533.com_tupian]: http://game.3533.com/tupian/
[http_www.4399.com]: http://www.4399.com/
[http_www.91wan.com]: http://www.91wan.com/