python爬虫之xpath和lxml模块

喜欢ヅ旅行 2023-10-05 18:13 41阅读 0赞

## xpath和lxml模块 ##

### 1.xpath的简介 ###

#### 1.1xpath的概念 ####

*  XPath（XML Path Language）是一种XML的查询语言，他能在XML树状结构中寻找节点。XPath 用于在 XML 文档中通过元素和属性进行导航
 *  xml是一种标记语法的文本格式，xpath可以方便的定位xml中的元素和其中的属性值。lxml是python中的一个包，这个包中包含了将html文本转成xml对象，和对对象执行xpath的功能

#### 1.2 节点关系 ####

xml_content = '''
    <bookstore>
    <book>
        <title lang='eng'>Harry Potter</title>
        <author>K.Rowing</author>
        <year>2005</year>
        <price>29<price>
    </book>
    </bookstore>
    '''

![在这里插入图片描述][20210121225429395.png]

*  父(Parent) book元素是title、author、year、price元素的父
 *  子(Children) title、author、year、price都是book元素的子
 *  同胞(Sibling) title、author、year、price都是同胞
 *  先辈(Ancestor) title元素的先辈是 book元素和bookstore元素

### 2.基本使用 ###

#### 2.1工具的安装 ####

*  Chrome插件 Xpath Helper
 *  Firefox插件 Xpath Checker
 *  [安装参考网站][Link 1]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjE3MzI1NA_size_16_color_FFFFFF_t_70]
 *  查找某个特定的节点或者包含某个指定的值的节点  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjE3MzI1NA_size_16_color_FFFFFF_t_70 1]  
    ![在这里插入图片描述][20210121230028873.png]

#### 2.2 lxml模块的使用 ####

*  在Python中，我们安装lxml库来使用XPath 技术
 *  lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取HTML/XML数据利用
 *  etree.HTML，将字符串转化为Element对象
 *  lxml python 官方文档：[http://lxml.de/index.html][http_lxml.de_index.html]
 *  可使用 pip 安装：pip install lxml
 *  lxml 可以⾃动修正 html 代码

wb_data = """
            <div>
                <ul>
                     <li class="item-0"><a href="link1.html">first item</a></li>
                     <li class="item-1"><a href="link2.html">second item</a></li>
                     <li class="item-inactive"><a href="link3.html">third item</a></li>
                     <li class="item-1"><a href="link4.html">fourth item</a></li>
                     <li class="item-0"><a href="link5.html">fifth item</a>
                 </ul>
             </div>
            """

*  使用

# 导入模块
    from lxml import etree
    # 将html字符串转换为element对象
    变量 = etree.HTML(放入html类型的字符串)

*  这个etree类能干什么？  
    • 第一个是将html字符串转化为element对象  
    • 第二个是element对象可以转换为字符串或者二进制类型

[20210121225429395.png]: https://img-blog.csdnimg.cn/20210121225429395.png
[Link 1]: https://blog.csdn.net/qq_31082427/article/details/84987723
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjE3MzI1NA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2021012122594341.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjE3MzI1NA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjE3MzI1NA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210121230004273.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MjE3MzI1NA==,size_16,color_FFFFFF,t_70
[20210121230028873.png]: https://img-blog.csdnimg.cn/20210121230028873.png
[http_lxml.de_index.html]: http://lxml.de/index.html