python提取网页的特定内容（正则表达式实现）

你的名字 2022-08-07 05:47 318阅读 0赞

关于正则表达式参考[正则表达式][Link 1]

python可以很方便地抓取网页并过滤网页的内容，那么，**如何从如下的网页中提取csdn文章的标题**“《unix网络编程（卷1）源代码的使用方法》”。

如下是核心代码，使用正则表达式实现：

html2 = opener.open(page).read()
    allfinds2 = re.findall(r'<span class="link_title"><a href="/u013074465/article/details/........">\r\n(.+?)</a></span>',html2, re.S)
    print allfinds2[0].strip()

第一行：打开链接，page指向的是所要提取的文章标题的链接；

第二行：当读取到了连接的内容后，使用正则表达式进行匹配。这里要匹配的字符串的尾部是</a></span>，要匹配最近的</a></span>需要注意下面黑体字部分：

注意：  
当正则表达式中包含能接受重复的限定符时，通常的行为是（在使整个表达式能得到匹配的前提下）匹配尽可能多的字符。以这个表达式为例：a.\*b，它将会匹配最长的以a开始，以b结束的字符串。如果用它来搜索aabab的话，它会匹配整个字符串aabab。这被称为贪婪匹配。有时，我们更需要懒惰匹配，也就是匹配尽可能少的字符。前面给出的限定符都可以被转化为懒惰匹配模式，只要在它后面加上一个问号?。这样.\*?就意味着匹配任意数量的重复，但是在能使整个匹配成功的前提下使用最少的重复。  
现在看看懒惰版的例子吧：a.\*?b 匹配最短的，以a开始，以b结束的字符串。如果把它应用于aabab的话，它会匹配aab（第一到第三个字符）和ab（第四到第五个字符）。

<table>  表 懒惰限定符  
 <thead> 
  <tr> 
   <th>代码/语法</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><span>*?</span></td> 
   <td><span>重复任意次，但尽可能少重复</span></td> 
  </tr> 
  <tr> 
   <td><span>+?</span></td> 
   <td><span>重复1次或更多次，但尽可能少重复</span></td> 
  </tr> 
  <tr> 
   <td><span>??</span></td> 
   <td><span>重复0次或1次，但尽可能少重复</span></td> 
  </tr> 
  <tr> 
   <td><span>{n,m}?</span></td> 
   <td><span>重复n到m次，但尽可能少重复</span></td> 
  </tr> 
  <tr> 
   <td><span>{n,}?</span></td> 
   <td><span>重复n次以上，但尽可能少重复</span></td> 
  </tr> 
 </tbody> 
</table>

第三行：allfinds一个列表，包含一个元素（文章标题），而且在标题的首尾均含有空格，strip()可以去除字符串首尾两端的空格。

[Link 1]: http://blog.csdn.net/u013074465/article/details/42585933