爬虫01_基于Python的Requests模块GET请求开发的关键词搜索爬虫

た入场券 2023-07-24 03:07 21阅读 0赞

### 需求： ###

*  输入一个关键词
 *  爬取相关页面
 *  网页链接：`www.sogou.com/web`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjcyMzg2_size_6_color_FFFFFF_t_70]

### 代码： ###

import requests
    import os
    
    #指定搜索关键字
    keywords = input('请输入你要爬取的关键词：')
    #基于反爬构建，User-Agent
    headers = {
        
        'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
    }
    #搜狗指定的url
    url = 'https://www.sogou.com/web'
    #封装一些get请求的参数
    params = {
        
        'query':keywords,
        'ie':'utf-8'
    }
    
    #向服务器端发起请求
    response = requests.get(url=url, params=params, headers=headers)
    #获取响应的数据内容
    pag_text = response.text
    
    #响应数据持久化到本地
    with open('./sougou.html', 'w', encoding='utf-8') as fp:
        fp.write(pag_text)
        print('爬取完毕！')
        fp.close()

### 总结： ###

*  `.text`：表示`response`对象的.text，可以将返回的内容以文本文件的形式返回
 *  `.json()`：表示 `response`对象的`.json()`方法，可以将返回的内容以`json`格式的返回，返回一个字典类型或者列表类型的数据  
    两种方法主要取决于通过抓包工具对返回数据，即抓包工具`Network`栏目下面的`Response`栏目下的数据进行分析，如果返回的是`json`格式的，那么就选择`.json()`方式接收

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjcyMzg2_size_6_color_FFFFFF_t_70]: /images/20230528/e4e9cdd9fa164998be9f834eea0d04f9.png