Python爬虫-正则

深藏阁楼爱情的钟 2022-05-22 05:24 173阅读 0赞

# Python爬虫-正则 #

### 文章目录 ###

*  Python爬虫-正则
 *   *  前言
     *  使用
     *  语法
     *   *  表示字符
         *  表示个数
         *  表示边界
         *  区配分组
     *  re的高级用法
     *  贪婪与非贪婪
     *  注意项

## 前言 ##

想说正则的知识点并不多，需要思考地方却不少。python里提取数据的方式很多，但私以为掌握那些中的某一个的同时，一定要兼顾正则。主观推崇原因有二，一：re是python的基本库，不需要额外安装且解析速度快；二：正则能做到xpath、BeautifulSoup、PyQuery可以做到的；正则还是能做到它们做不到的。

## 使用 ##

1.  `import re`
2.  match，正则中最基本的函数，用法：  
    `result = re.match(pattern, 需要区配的字符串)`  
    `result.group()`取出被区配到的部分
3.  演示语法的时候，基本会用match函数演示。match区配的过程是：从左到右区配，直到出现不满足规则的时候停止

## 语法 ##

### 表示字符 ###

<table> 
 <thead> 
  <tr> 
   <th align="center">字符</th> 
   <th align="left">功能</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center"><code>.</code></td> 
   <td align="left">区配任意一个字符（除\n）</td> 
  </tr> 
  <tr> 
   <td align="center"><code>[]</code></td> 
   <td align="left">区配[]中列举的字符</td> 
  </tr> 
  <tr> 
   <td align="center"><code>\d</code></td> 
   <td align="left">区配数字，0-9</td> 
  </tr> 
  <tr> 
   <td align="center"><code>\D</code></td> 
   <td align="left">区配非数字</td> 
  </tr> 
  <tr> 
   <td align="center"><code>\s</code></td> 
   <td align="left">区配空白，（包含空格和Tab键）（\t \n 空格）</td> 
  </tr> 
  <tr> 
   <td align="center"><code>\S</code></td> 
   <td align="left">区配非空白</td> 
  </tr> 
  <tr> 
   <td align="center"><code>\w</code></td> 
   <td align="left">区配单词字符，a-z，A-Z，0-9，_</td> 
  </tr> 
  <tr> 
   <td align="center"><code>\W</code></td> 
   <td align="left">区配非单词字符</td> 
  </tr> 
 </tbody> 
</table>

1.  点表示任意字符，所以返回h  
    ![这里写图片描述][70]
2.  中括号是列举的意思，表示只要满足其中任意一个就行  
    ![这里写图片描述][70 1]
3.  `\d`表示数字，等价于`[0-9]`
4.  `\s`表示制表符，空格，换行；这里用`"""`包裹的字符串来演示，因为`"""`里，字符串可以保存样式，即可以包含换行的内容，所以最后返回换行符  
    ![这里写图片描述][70 2]
5.  `\w`的使用基本上可以举一反三了，包括其大写字符的实现效果。规则很好记忆：d是digit，s是space，w是word

### 表示个数 ###

<table> 
 <thead> 
  <tr> 
   <th align="center">字符</th> 
   <th align="left">功能</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center"><code>*</code></td> 
   <td align="left">限定前一个字符出现0次或n次</td> 
  </tr> 
  <tr> 
   <td align="center"><code>+</code></td> 
   <td align="left">限定前一个字符出现1次或者n次</td> 
  </tr> 
  <tr> 
   <td align="center"><code>?</code></td> 
   <td align="left">限定前一个字符出现0次或1次</td> 
  </tr> 
  <tr> 
   <td align="center"><code>{m}</code></td> 
   <td align="left">限定前一个字符出现m次</td> 
  </tr> 
  <tr> 
   <td align="center"><code>{m,}</code></td> 
   <td align="left">限定前一个字符至少出现m次</td> 
  </tr> 
  <tr> 
   <td align="center"><code>{m,n}</code></td> 
   <td align="left">限定前一个字符出现m到n次</td> 
  </tr> 
 </tbody> 
</table>

1.  前面表示字符，这里是表示个数，在没有明确说明个数的情况下默认一个；其次，表示个数的符号总是修饰它左边的字符
2.  `*`表示被修饰字符出现0次或n次，所以一直到逗号出现，不满足规则了停止，返回区配到的内容，即为hello  
    ![这里写图片描述][70 3]

### 表示边界 ###

<table> 
 <thead> 
  <tr> 
   <th align="center">字符</th> 
   <th align="left">功能</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center"><code>^</code></td> 
   <td align="left">表示字符串开头</td> 
  </tr> 
  <tr> 
   <td align="center"><code>$</code></td> 
   <td align="left">表示字符串结尾</td> 
  </tr> 
  <tr> 
   <td align="center"><code>\b</code></td> 
   <td align="left">表示单词的边界</td> 
  </tr> 
  <tr> 
   <td align="center"><code>\B</code></td> 
   <td align="left">表示非单词边界</td> 
  </tr> 
 </tbody> 
</table>

1.  需要说名的是`^`是放在被修饰符的左边，而`$`放在被修饰符的右边；且如果`^`在中括号中出现，表示取反的意思
2.  这个规则得分五个部分理解：`^\d*`表示以数字开头，并且之后可以有0或n个数字；`@`就表示区配@；中间的`\w*`表示允许0个或n个单词赐福；`.`表示任意字符，这里区配邮箱号中的点；`\w*$`表示存在多个单词字符，并且以单词字符结尾  
    ![这里写图片描述][70 4]
3.  `$`应该慎用，因为你极可能因此拿不到返回。它指定的是被区配的字符串的末尾，这样说很难理解，看看下面几个示例  
    ![这里写图片描述][70 5]  
    我原意是区配邮箱前面的数字，然后区配@符，`\w*`表示任意个数的单词字符，并且以此结尾。所以根据这个逻辑，料想应该会返回**578306307@qq**，毕竟小圆点出现后就不再满足要求。然而事实是——**没有返回值**。这是因为使用`$`应该以**被区配的字符串**的结尾作为标准，在这个标准满足之前，中间不能出现任何区配失败，不然返回空  
    我吉岛吉岛啦，这样长串的句子拗口也难理解，所以上图吧。  
    ![这里写图片描述][70 6]  
    【72】可以返回完整的邮箱，为什么【73】失败呢？因为在【73】中标志了要单词字符结尾，然而被区配的字符串在单词字符结尾之前（也就是m出现之前），还有两个字符co没有区配，所以返回空，如果我们删除co，就会有结果了![这里写图片描述][70 7]  
    【74】没结果【75】有结果也是同样的道理，好好对比理解吧！
4.  b是border边界的意思。  
    放在最右侧时，饰其左边的单词字符，表示什么字母结尾的单词  
    ![这里写图片描述][70 8]  
    如果放在最左边，修饰右边的单词字符，表示什么字母开头的单词  
    ![这里写图片描述][70 9]

### 区配分组 ###

<table> 
 <thead> 
  <tr> 
   <th align="center">字符</th> 
   <th align="left">功能</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">|</td> 
   <td align="left">“或”，表示符合左右任意一个都可以</td> 
  </tr> 
  <tr> 
   <td align="center"><code>(ab)</code></td> 
   <td align="left">将括号中字符作为一个分组</td> 
  </tr> 
  <tr> 
   <td align="center"><code>\num</code></td> 
   <td align="left">引用分组num区配到的字符串</td> 
  </tr> 
  <tr> 
   <td align="center"><code>(?P&lt;name&gt;)</code></td> 
   <td align="left">分组起别名</td> 
  </tr> 
  <tr> 
   <td align="center"><code>(?P=name)</code></td> 
   <td align="left">引用别名为name分组区配到的字符串</td> 
  </tr> 
 </tbody> 
</table>

1.  `|`即“或”运算
2.  用括号表示分组，方便取出；这样一来，我们可以拿出我们想要的部分了  
    ![这里写图片描述][70 10]
3.  \\num的使用如下，即从左到右，每个分组依次默认为123……，在后面需要引用的时候就用\\num来代替  
    ![这里写图片描述][70 11]
4.  如果分组太多，一个一个的数会很麻烦，所以正则引进了分组别名的方法，并可以通过指定的语法实现引用  
    ![这里写图片描述][70 12]

也可以通过别名直接取出分组部分  
![这里写图片描述][70 13]

## re的高级用法 ##

1.  search：与match不同，match是从左到右，必须挨个符合；而search表示只要被区配的字符串中有符合的就返回，但是，**只返回第一次满足要求的内容**。如下示例，返回qq而不返回com  
    ![这里写图片描述][70 14]
2.  findall()：返回被区配字符串中所有的符合要求的内容，返回列表型  
    ![这里写图片描述][70 15]
3.  sub()：将区配到的内容，按照指定的方式替换（批量处理）  
    ![这里写图片描述][70 16]

也可以通过自定义函数处理。默认需要传参，此时传进来的参数是个对象，需要group()取出区配到的内容，然后做需要的处理，并且return返回  
![这里写图片描述][70 17]

## 贪婪与非贪婪 ##

python中的正则，默认贪婪模式。表示在区配过程中，会尽可能多的去区配内容。如果需要关闭贪婪模式，加上一个`？`符号  
![这里写图片描述][70 18]

## 注意项 ##

1.  这些特殊字符，需要反斜杠转义`\ . ^ $ ? + * {} [] () |`
2.  在正则里面，存在两种转义，一种是字符串转义，一种姑且称之为“正则转义”吧（我也不知道术语怎么说）  
    还是上图（一言不合就上图）  
    ![这里写图片描述][70 19]  
    如果我们需要打印`\n`就必须再加一个反斜杠转义，这是大家都知道的，那么使用正则区配的时候是不是只要两个反斜杠就可以了呢？  
    ![这里写图片描述][70 20]  
    答案否，如上所说，正则中要进行两次转义。所以修改一下规则就可以成功区配  
    ![这里写图片描述][70 21]  
    起初是前面两个反斜杠转义成一个反斜杠，后面两个反斜杠转义成一个反斜杠，此时会有两个反斜杠，再次转义成一个。所以有了上图的结果
3.  建议字符串和正则规则都加上`r`，减少考虑字符串转义的麻烦

[70]: /images/20220522/b59e1f80f67441788c6e7ab6de675ede.png
[70 1]: /images/20220522/c27d1c790d13403b8007828f7d98106a.png
[70 2]: /images/20220522/8b9ea2c65e54491995a6622e1ee1f93b.png
[70 3]: /images/20220522/2d37918a40204c248ae2425217df41a4.png
[70 4]: /images/20220522/05c0ad5ca1d94ffc8494787f51ea9d70.png
[70 5]: /images/20220522/2b95c4e9feeb42c1a548774145f65ccc.png
[70 6]: /images/20220522/b252387728ef411c9d55ed70e1a3ea79.png
[70 7]: /images/20220522/8b5aa0eb061d472ba6c6a83b022e5a98.png
[70 8]: /images/20220522/4498b6d26a604318aaa2fd6ff30b9b12.png
[70 9]: /images/20220522/9a53497c516a459bb73cb56302c224b0.png
[70 10]: /images/20220522/3f19751242d747db8dbf3ed69481d576.png
[70 11]: /images/20220522/b8c2e6d5c88546dab8aab5af1e2ef5b6.png
[70 12]: /images/20220522/0efa3f86cbcb4ec8985f564647ab99c5.png
[70 13]: /images/20220522/b275338113ed40e08dfb3d2dd1f0afd1.png
[70 14]: /images/20220522/068e3d4420d74cb99e4498deaecfbe8a.png
[70 15]: /images/20220522/ff59a662c3504ec28064e3cd11715afc.png
[70 16]: /images/20220522/d60b923d6b1e4124b155bf4cb46d9bda.png
[70 17]: /images/20220522/47309598ae9a44ca824171e2391834ff.png
[70 18]: /images/20220522/b4de9ec561534ecf8b4c317625aa6c67.png
[70 19]: /images/20220522/460dae6e37a242a3ba29ba0b5cc477b3.png
[70 20]: /images/20220522/c5b92e90159d4f70a9e8ec96c301349c.png
[70 21]: /images/20220522/b4500d675d8646838d0cc051eea1122b.png