Python爬虫实践：模拟登录、数据解析等案例

原创女爷i 2024-12-25 17:36 40阅读 0赞

在Python爬虫实践中，模拟登录和数据解析是两个重要的环节。这里我将为你提供一些具体的案例。

1. 模拟登录（使用requests库）：
   假设我们要登录一个基于cookies的网站。
   ```python
   import requests

# 登录信息
   username = 'your_username'
   password = 'your_password'

# 初始化请求，设置超时时间和头信息
   headers = {
       'User-Agent': 'Mozilla/5.0',
       'Referer': '登录页面的URL'
   }
   timeout = 30  # 设置超时时间

# 发送POST请求，并将cookies带上
   response = requests.post('登录接口URL', data={'username': username, 'password': password}}, headers=headers, timeout=timeout)

# 如果登录成功，response状态码应该是200
   if response.status_code == 200:
       print('登录成功！')
       cookies = response.cookies  # 获取cookies
       # 在后续爬虫中使用这些cookies进行身份验证
   else:
       print('登录失败！错误代码：', response.status_code)
   ```

2. 数据解析（使用BeautifulSoup库）：
   假设我们从一个新闻网站爬取标题和内容。
   ```python
   from bs4 import BeautifulSoup

url = 'news_website_url'  # 新闻网站的URL
   response = requests.get(url)  # 发送GET请求获取网页内容

soup = BeautifulSoup(response.text, 'html.parser')  # 解析网页内容为BeautifulSoup对象

titles = soup.find_all('h2')  # 找到所有的标题（假设标题都是<h2>标签）
   contents = [title.next_sibling for title in titles]  # 提取每个标题后的内容

for title, content in zip(titles, contents)):
       print(f'Title: {title.text}\nContent:\n{content.strip()}')  # 打印标题和内容
   ```

以上就是Python爬虫实践中模拟登录和数据解析的两个常见案例。希望对你有所帮助！