项目实战：使用Python爬虫抓取动态网站数据

原创超、凢脫俗 2025-02-07 18:09 14阅读 0赞

爬虫是一种自动化程序，它可以通过模拟人类行为来从互联网上收集信息。下面我将提供一个基本的Python爬虫实例，这个例子我们将目标对准一个动态网站的数据。

首先，我们需要安装一些必要的库，如`requests`用于发送HTTP请求，`BeautifulSoup`用于解析HTML内容：

```bash
pip install requests beautifulsoup4
```

接下来，我们编写爬虫代码。这里以抓取新闻标题为例：

1. **设置请求头（如果需要登录）**：
   
   ```python
   headers = {
       'User-Agent': 'Mozilla/5.0',  # 设置一个常规的浏览器用户代理
       # 如果需要登录，这里添加相关登录信息
   }
   ```

2. **发送请求获取新闻标题**：

```python
   def get_news_titles(url, headers):
       response = requests.get(url, headers=headers)
       
       if response.status_code == 200:  # 检查响应状态码是否为200（成功）
           news_titles = response.text.split('<h3>')[1:]  # 分割新闻标题
           return news_titles
       
       else:
           print(f"Failed to get data from {url}. Status code: {response.status_code}")
           return []
   ```

3. **调用函数获取新闻标题**：

```python
   url = 'http://example.com/news'  # 要抓取的新闻列表URL
   news_titles = get_news_titles(url, headers)
   
   if news_titles:
       for title in news_titles:
           print(title)
       
   else:
       print("No news titles found.")
   ```

以上就是一个基本的Python爬虫实例，用于抓取新闻标题。实际使用时可能需要处理更复杂的情况，例如登录、处理JavaScript内容等。