ajax从mysql提取数据在html中_Python爬虫基础之认识html和学习数据提取（上）

清疚 2023-01-01 14:55 120阅读 0赞

![85f1d8cdf3ac9017ab0e3935a0cc068c.png][]

我：我已经学会了基本的python，接下来可以学什么鸭？

惨绿青年：接下来可以学习制作python爬虫了，但还是需要学习相关的知识。

我：什么知识鸭？

惨绿青年：网页的相关知识。我们看到的网页一般是html+css+javascript编写出来的文件，然后浏览器解析该文件再展示出来给我们看。python爬虫的**原理**就是获取网页的代码，然后通过各种方式从其中提取出数据。

我：数据是怎么提取的鸭？

惨绿青年：python的数据提取方式一般为4种：**beautifulsoup**，**xpath**，**css选择器**，**正则表达式**。今天我们先来学习前两种吧。

**html**

惨绿青年：在学习beautifulsoup和xpath之前先来了解一下html。html是超文本标记语言，把各种标签通过树形结构组合起来。

![ca6669ee6a6a212e646e4ab2ef72e850.png][]

树结构示意图

我：那标签是啥鸭？

惨绿青年：标签用来定义网页的内容。不同的标签定义不同类别的内容。例如<a>用来定义链接，<p>用来定义一段文字。标签也有属性和对应的属性值。

![d23c5f9c64d62ee51fe77e38aa9fe5a6.png][]

标签以及说明

![8a1aa51c6398ca2dc2dfb241c1792871.png][]

该标签在浏览器中显示的样子

**beautifulsoup**

惨绿青年：接下来来学习beautifulsoup吧。beautifulsoup是python的一个库，该库能通过简单的方式提取数据。

我：那怎么安装鸭？

惨绿青年：打开命令行，输入“pip install beautifulsoup4”就行了。

![55e2d65925224af1c44a7ad01e467fdc.png][]

安装好后就能使用了

惨绿青年：beautifulsoup能将html文档解析后生成一个beautifulsoup对象，beautifulsoup对象也是一种树形结构，包含各种节点，每一个节点都对应html的标签。

![6308fffb292da5528a68bf6591200c6a.png][]

惨绿青年：节点对象可通过beautifulsoup对象直接访问，获得该节点内的所有内容，通过该方法获取的节点返回的是第一个符合条件的节点。节点有两个常用的属性attrs、contents和string。调用attrs属性会返回一个列表，包含该节点的所有属性；调用contents和string属性会返回该节点的内容。

![636a8688cd639bdd7adf2c3cbb27526c.png][]

惨绿青年：通过某个节点也可以访问其他节点，它的上一个为父节点，下一个节点为子节点，同一个父节点的其他节点为兄弟节点。前一个节点是previous\_sibling，后一个节点是next\_sibling。需要注意的是，在实际的html文档换行符或者字符串也会成为节点。

![81804622b11ed773d081f3a911e9f7d3.png][]

示意图

![bf684599061f3422b79f8cfe0e52d9e4.png][]

注意观察bs的内容

惨绿青年：beautifulsoup常用find\_all()方法来查找节点。此外还有find\_parent()、find\_children()等方法，使用的原理和find\_all()类似，具体可查看官方文档。

![3fe6b14609753cfb173fd8fbc934eb6f.png][]

**xpath**

惨绿青年：xpath是一种在xml或html中查找信息的方法。要在python中使用xpath要先安装lxml包，和上面安装的方式一样，打开命令行输入“pip install lxml”。若不能成功，则在命令行输入“python -m pip install -U pip”，然后到python官网下载lxml的wheel文件。下载后在命令行输入“pip install ”，再把wheel文件拖到命令行即可。

惨绿青年：xpath与beautifulsoup类似，都有节点，都是把html转换成树结构。xpath通过路径查找信息，就像通过路径能访问计算机中的文件夹。xpath的常用语法有“/”，“//”，“.”，“..”，“@”，“\*”。“/”表示选取子节点；“//”表示在所有子孙节点中选取；“.”表示当前节点；“..”表示选取父节点；“@”表示选取属性；“\*”是通配符，表示匹配所有的节点或属性。当把html构造为etree对象时，会把html节点当作根节点，路径从该节点的下一层开始。

![594c50005c805b7755807a36a87b6afe.png][]

惨绿青年：xpath还可以通过“@”选取属性，通过text()获取节点中的文本。

![f9572f7acb80beeeb0d18e89a1c9e103.png][]

今天也学到了很多东西呢，明天有什么新知识呢？真期待鸭~如果喜欢文章可以关注我哦~

![4c0eb1a596462a5255d53ecdd3083243.png][]

[85f1d8cdf3ac9017ab0e3935a0cc068c.png]: /images/20221120/438be1f4172b4a0689ceb157e1098132.png
[ca6669ee6a6a212e646e4ab2ef72e850.png]: /images/20221120/f745ce0759f54c838e63c92501b21de5.png
[d23c5f9c64d62ee51fe77e38aa9fe5a6.png]: /images/20221120/f1e1e64d86464c2da0d5d3151d327cc9.png
[8a1aa51c6398ca2dc2dfb241c1792871.png]: /images/20221120/684e4ea8e40b4ababdf94bce1fd3c53d.png
[55e2d65925224af1c44a7ad01e467fdc.png]: /images/20221120/e2c9466967a1446587c7925bde13c95f.png
[6308fffb292da5528a68bf6591200c6a.png]: /images/20221120/af53036c9a6c42c1a00fa1c667b296be.png
[636a8688cd639bdd7adf2c3cbb27526c.png]: /images/20221120/b64c628e254d401194b77779ca2dbb5f.png
[81804622b11ed773d081f3a911e9f7d3.png]: /images/20221120/0cd99cb6554c495a9cd1cc0f0a96ccff.png
[bf684599061f3422b79f8cfe0e52d9e4.png]: /images/20221120/b902aa89bd4f402f8d23872c1943a8d5.png
[3fe6b14609753cfb173fd8fbc934eb6f.png]: /images/20221120/9ec4f86f0a134d79bee3472f1dc5331c.png
[594c50005c805b7755807a36a87b6afe.png]: /images/20221120/31c2e0f593024d719b7d123fb6212235.png
[f9572f7acb80beeeb0d18e89a1c9e103.png]: /images/20221120/db333f4d7e6f4eeebf890d8e62ef77f0.png
[4c0eb1a596462a5255d53ecdd3083243.png]: /images/20221120/5706cc98b88b4a6d9804474730d168ec.png