Python网络爬虫实战：从简单爬取网页信息到复杂数据处理的示例

原创「爱情、让人受尽委屈。」 2024-12-22 16:45 25阅读 0赞

在网络爬虫中，我们通常会经历三个阶段：简单爬取、解析数据和复杂数据处理。下面我将为你提供每个阶段的示例。

1. 简单爬取网页信息：
```python
import requests
url = 'http://example.com'  # 网页链接
response = requests.get(url)
if response.status_code == 200:  # HTTP状态码，表示请求成功
    print(response.text)  # 打印网页内容
```
2. 解析数据：
- 使用BeautifulSoup库解析HTML。
```python
from bs4 import BeautifulSoup

# 上一步获取的网页内容
html_content = '''
<html>
<head>
<title>Example Page</title>
</head>
<body>
<h1>Hello, World!</h1>
<p>This is a sample page.</p>
</body>
</html>
'''

soup = BeautifulSoup(html_content, 'html.parser')
title = soup.find('title')  # 查找标题标签
print(title.string)  # 打印标题内容
```
3. 复杂数据处理（例如提取特定内容、处理表格数据等）：
- 使用正则表达式提取信息。
```python
import re

# 上一步获取的网页内容
html_content = '''
<html>
<head>
<title>Example Page</title>
</head>
<body>
<h1>Hello, World!</h1>
<p>This is a sample page.</p>
<table border="1">
<tr>
<th>Column 1</th>
<th>Column 2</th>
</tr>
<tr>
<td>Data 1</td>
<td>Data 2</td>
</tr>
</table>
</body>
</html>
'''

# 提取表格数据
table_content = re.findall(r'<tr>(.*?)<\tr>', html_content, re.DOTALL)
print(table_content)

# 提取特定内容（例如标题）
title_content = re.search(r'<title>(.*?)<\/title>', html_content, re.DOTALL).group(1)
print(title_content)
```
以上示例展示了从简单爬取网页信息，到使用BeautifulSoup解析HTML，再到利用正则表达式处理复杂数据的全过程。