Python爬虫：基础请求与反爬策略示例

原创 迷南。 2025-03-23 20:27 86阅读 0赞

在Python爬虫中，我们通常需要处理两个主要部分：基础请求和反爬策略。

  1. 基础请求（Making Requests）：

    • requests 模块是进行网络请求的首选库。
      ```python
      import requests

    发送GET请求

    response = requests.get(‘http://example.com‘)

    检查响应状态码

    if response.status_code == 200:

    1. print('Request successful.')
    2. content = response.text  # 获取网页内容
    3. # 然后你可以对content进行处理

    else:

    1. print(f'Request failed with status code {response.status_code}}')

    ```

  2. 反爬策略（Anti-Crawling Measures）：

    • 设置User-Agent：每个网站对User-Agent的检查是不同的，通过设置不同的User-Agent，可以更好地避免被识别。
      ```python
      import requests

    设置User-Agent

    headers = {‘User-Agent’: ‘Mozilla/5.0’}

    response = requests.get(‘http://example.com‘, headers=headers)

    if response.status_code == 200:

    1. print('Request successful.')
    2. content = response.text
    3. # 进行内容处理

    else:

    1. print(f'Request failed with status code {response.status_code}}')

    ```

以上就是Python爬虫基础请求与反爬策略的示例。

文章版权声明：注明蒲公英云原创文章，转载或复制请以超链接形式并注明出处。

发表评论

表情：
评论列表 （有 0 条评论，86人围观）

还没有评论，来说两句吧...

相关阅读