Python爬虫——使用requests和beautifulsoup4库来爬取指定网页的信息

谁借莪１个温暖的怀抱￠ 2024-03-24 13:35 90阅读 0赞

*  以下是一个简单的Python代码，使用**`requests`**和**`beautifulsoup4`**库来爬取指定网页的信息：

import requests
    from bs4 import BeautifulSoup
    
    url = "https://example.com"
    
    # 发送GET请求，获取网页内容
    response = requests.get(url)
    
    # 将网页内容转化为BeautifulSoup对象，方便解析
    soup = BeautifulSoup(response.content, "html.parser")
    
    # 找到所有<a>标签，打印出它们的文本内容和链接
    for link in soup.find_all("a"):
        print(link.text.strip(), link.get("href"))

*  **代码解释：**

> 1.  首先导入了`requests`和`beautifulsoup4`库，用于向网站发送请求并解析网页内容。
> 2.  定义了要爬取的网页的URL地址。
> 3.  使用`requests.get()`方法向指定的URL发送GET请求，并将返回的响应对象赋值给变量`response`。
> 4.  将`response.content`属性的内容传递给`BeautifulSoup`构造函数，创建一个`soup`对象。第二个参数`"html.parser"`指定使用Python内置的HTML解析器来解析网页内容。
> 5.  使用`soup.find_all("a")`方法找到所有`<a>`标签，返回一个`ResultSet`对象，其中包含所有匹配的标签。
> 6.  对于每个匹配的标签，使用`.text`属性获取其文本内容，并使用`.get("href")`方法获取其链接。
> 7.  最后，将标签的文本内容和链接打印出来。`.strip()`方法用于去除文本内容中的空格和换行符。

**需要注意的是，网站所有者可能对爬虫进行限制，需要遵守网站的规定并进行适当的处理。例如，可以在请求中包含User-Agent头来模拟浏览器访问，以避免被认为是机器人并被拒绝访问。**