网络爬虫基础：Python requests库与BeautifulSoup的简单应用

原创女爷i 2025-01-23 13:27 18阅读 0赞

在进行网络爬虫时，Python中的requests库和BeautifulSoup库是常用的工具。

1. Python Requests库：

requests是一个HTTP客户端库，用于发送HTTP请求。使用requests库可以方便地进行登录、获取网页内容等操作。

例如，获取一个网页的内容：
```python
import requests

url = 'http://example.com'  # 替换成你要爬取的URL
response = requests.get(url)

if response.status_code == 200:  # 200是HTTP状态码的成功表示
    content = response.text
    print(content)
else:
    print(f"Failed to get content. Status code: {response.status_code}")
```

2. Beautiful Soup库：

BeautifulSoup是一个解析HTML和XML文档的Python库。它提供了一种方式来查找、选择和修改文档内容。

使用BeautifulSoup，可以更方便地从网页中提取所需信息。

以下是一个简单的例子，展示如何使用requests和BeautifulSoup进行网页爬取：

```python
import requests
from bs4 import BeautifulSoup

# 发送HTTP请求获取页面内容
url = 'http://example.com'  # 替换成你要爬取的URL
response = requests.get(url)

# 如果请求成功（响应状态码为200），
if response.status_code == 200:
    # 使用BeautifulSoup解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')

# 查找特定标签，例如所有的`h1`标题
    headers = soup.find_all('h1')

# 打印找到的所有`h1`标题内容
    for header in headers:
        print(header.get_text())
else:
    print(f"Failed to get content. Status code: {response.status_code}")
```

这个例子中，我们首先发送一个GET请求获取网页内容。如果请求成功（状态码为200），我们就使用BeautifulSoup解析HTML内容，并找到所有的`h1`标题。

最后，我们将找到的每个`h1`标题打印出来。

文章版权声明：注明蒲公英云原创文章，转载或复制请以超链接形式并注明出处。

发表评论取消回复

表情：

评论列表（有 0 条评论，18人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬虫基础：requests和BeautifulSoup的简单交互

在Python中，我们经常使用两个库来进行网页爬取：`requests`用于发送HTTP请求获取网页内容，而`BeautifulSoup`则用于解析HTML或XML文档。以

ゝ一世哀愁。/ 2025年01月30日 16:51/ 0 赞/ 22 阅读

相关网络爬虫基础：Python requests库与BeautifulSoup的简单应用

在进行网络爬虫时，Python中的requests库和BeautifulSoup库是常用的工具。 1. Python Requests库： requests是一个HTTP客

女爷i/ 2025年01月23日 13:27/ 0 赞/ 19 阅读

相关 Python网络爬虫——BeautifulSoup4库的使用

使用requests库获取html页面并将其转换成字符串之后，需要进一步解析html页面格式，提取有用信息。 BeautifulSoup4库，也被成为bs4库（后皆采用简写）

叁歲伎倆/ 2023年10月08日 10:28/ 0 赞/ 85 阅读

相关【Python网络爬虫笔记】BeautifulSoup模块基础

学习资源：[中国大学MOOC Python网络爬虫与信息提取北京理工大学计算机学院嵩天][MOOC Python_ _] -------------------- 安

悠悠/ 2023年07月18日 06:17/ 0 赞/ 22 阅读

相关【Python爬虫】Requests库网络爬虫实战

1.京东商品页面爬取打开某一个京东页面 [https://item.jd.com/69336974189.html][https_item.jd.com_69336974

迷南。/ 2023年02月23日 07:57/ 0 赞/ 101 阅读

相关 Python网络爬虫之Requests库

Requests库是Python的第三方库，是公认的最好的网络爬取的库。本文将对Requests库的学习（MOOC中国大学课程）做一个总结，对Requests库

刺骨的言语ヽ痛彻心扉/ 2022年06月12日 04:43/ 0 赞/ 421 阅读

相关 Python网络爬虫之BeautifulSoup库

Python网络爬虫之BeautifulSoup库 BeautifulSoup是Python的第三方库，可以对HTML和XML格式的内容进行解析，并且提取其中的相关信息。

叁歲伎倆/ 2022年06月11日 02:38/ 0 赞/ 375 阅读

相关 Python下基于requests及BeautifulSoup构建网络爬虫

功能说明在Python下面可使用requests模块请求某个url获取响应的html文件，接着使用BeautifulSoup解析某个html。案例假设我要[

喜欢ヅ旅行/ 2022年06月08日 13:40/ 0 赞/ 271 阅读

相关 python网络爬虫之BeautifulSoup库

如果没有这个库的话，请先安装，最简单的安装方式是，打开cmd，输入 pip install beautifulsoup4 1、Beautiful Soup类基本元素

逃离我推掉我的手/ 2022年06月01日 03:17/ 0 赞/ 396 阅读

相关 python网络爬虫之requests库

import requests 1、requests库有两个对象，Request对象和Response对象，下表是Response对象的属性 <table> <

矫情吗；*/ 2022年06月01日 02:20/ 0 赞/ 423 阅读