python爬虫之requests(附带四个入门案例)

àì夳堔傛蜴生んèń 2021-09-24 02:16 604阅读 0赞

## 本人公众号上线啦！！！ ##

公众号与博客名一样：**没有腹肌的程序猿**  
公众号文章类型：工作上所遇到的需求实现方案分享。  
此外也会提供一些数据集供大家使用。（这个还在规划中，毕竟打工人时间挺紧的，哈哈哈哈）  
到时候也会不定期给大家抽一些小东西哦。![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70_pic_center]

## python爬虫之requests ##

request是python爬虫的一个基本的库，功能十分齐全。  
下面对一些常用的方法进行说明：  
(response----指接受返回的响应)

1.  requests.get(url,params,headers)
    
        url:发送请求的链接。
        params：携带的参数。
        headers：头部信息。
2.  requests.post(url,data,headers)
    
        url:发送请求的链接。
        data：携带的json参数。
        headers：头部信息。
3.  response.raise\_for\_status
    
        如果返回的状态码不是200，通过此方法能够抛出异常。
4.  response.encoding
    
        返回信息的编码格式。
5.  response.apparent\_encoding
    
        解析返回数据是什么编码格式，一般使用方式
        response.encoding = response.apparent_encoding。
        通常用在爬取中文的网页，防止乱码。
6.  response.json()
    
        获取返回回来的json数据。
7.  response.text
    
        获取返回回来的html文本信息。
8.  response.content
    
        Html响应的二进制信息。

## \- 案例1:爬取百度网页 ##

**链接：https://www.baidu.com/**  
一般网站都有反爬机制，因此我们需要做最基本的UA伪装。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70]

url = 'https://www.baidu.com/'
    header = { 
        'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'
    }
    response = requests.get(url=url, headers=header)
    response.raise_for_status()
    response.encoding = response.apparent_encoding
    concent = response.text
    print(concent)

## \- 案例2:爬取百度翻译 ##

**百度翻译链接：https://fanyi.baidu.com/?aldtype=16047\#auto/zh**  
1.进入百度翻译后，我们随便输入一个单词，发现它是实时的局部刷新，因此我们可以打开控制台查看一下它发送的ajax请求，看看能不能通过该请求获得数据。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 1]  
2.通过抓包分析，可以看到我们输入dog，三个单词，它就发送了三次请求。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 2]  
3.我们可以对该请求做进一步的分析。分析之后我们发现该请求是一个Post请求，且返回的数据是Json格式，也就是翻译后的内容的json格式。因此，我们只要向该链接发送请求我们就能获取到数据。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 4]  
4.分析结束我们就可以编写代码。

#百度翻译
    import json
    url='https://fanyi.baidu.com/sug'
    kw = input('enter you want fanyi')
    kw = { 
        'kw':kw
    }
    header = { 
        'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'
    }
    response = requests.post(url=url, data=kw, headers=header)
    response.raise_for_status
    response.encoding = response.apparent_encoding
    content_json = response.json()
    #默认转成ascii编码，因此需要设置成false
    content = json.dumps(content_json,ensure_ascii=False)
    result = json.loads(content)
    print(result["data"])

## \- 案例3:爬取豆瓣电影的排行榜 ##

**豆瓣网页：https://movie.douban.com/chart**  
1.随便进去一个分类  
![随便进去一个分类][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 5]

2.在这个页面将右侧的滚动轮拉到就下，页面就会自动刷新，发送ajax请求。通过抓包分析，我们可以发现该请求返回是json数据，也就是电影的json数据，且有发送的参数。![在这个页面将右侧的滚动轮拉到就下，页面就会自动刷新，发送ajax请求。通过抓包分析，我们可以发现该请求返回是json数据，也就是电影的json数据。][ajax_json_json]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 7]  
3.因此我们可以直接通过该链接跟参数直接发送请求获得数据。

#豆瓣电影排行
    url = 'https://movie.douban.com/j/chart/top_list'
    params = { 
        'type': '5',
        'interval_id':'100:90',
        'action': '',
        'start':'0',
        'limit': '20'
    }
    header = { 
        'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'
    }
    response = requests.get(url=url,params=params, headers=header)
    content = response.json()
    #在使用dumps时候，会默认将汉子转成ascii编码格式，因此我们需要手动设置成False
    content1 = json.dumps(content,ensure_ascii=False)
    print(content1)

## 案例四：爬取肯德基指定位置有多少家餐厅 ##

肯德基链接：http://www.kfc.com.cn/kfccda/index.aspx  
1.进入网页，进入餐厅查询页面。在页面的最下面。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 8]  
2.在该页面进行实验查询。通过实验发现，输入地名后点击查询，地址栏的url并没有发生变化，因此我们可以判断是通过ajax请求进行的局部页面的刷新。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 10]  
3.打开控制台进行分析，我们发现该请求是Post请求，且返回的json数据，查看json数据发现就是餐厅位置的信息。因此我们可以通过发送请求并携带参数进行获取数据。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 11]  
![在这里插入图片描述][20200329234355640.png]  
![在这里插入图片描述][20200329234429986.png]  
4.编写代码。

#爬取肯德基指定位置有多少家餐厅。
    url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
    keyword = input('请输入要查询的地名：')
    data = { 
        'cname':'', 
        'pid': '',
        'keyword': '广东',
        'pageIndex': '1',
        'pageSize': '10'
    }
    header = { 
        'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'
    }
    response = requests.post(url=url, data=data, headers=header)
    content_json = response.json()
    content_json = json.dumps(content_json,ensure_ascii=False)
    result = json.loads(content_json)
    rowcount = result['Table'][0]['rowcount']
    print(rowcount)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 12]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20210923/c465d592f76b41bd922bdba1ca47aa91.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70]: /images/20210923/717da580e180495b9d69096a66fad7ea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 1]: /images/20210923/eca224e9aea8416b9f14ff4cf738dfa2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 2]: /images/20210923/a083f3329bb74ccb87a8aa40add5e798.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 3]: /images/20210923/21b235dca9e147eeaed8e04c277a5a52.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 4]: /images/20210923/31601a5a417843c1bcfdc64c7b65c8b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 5]: /images/20210923/fecffdc90d8a495aa702718d16e60b45.png
[ajax_json_json]: /images/20210923/23d64d167a284a2483ac9059bed81cb0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 6]: /images/20210923/863efb2b55f3498bb05d022bc93abce9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 7]: /images/20210923/17166dc979fd475faa4ff2ac5b4b1e89.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 8]: /images/20210923/3a9412403a73439abf36bbb301526c3c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 9]: /images/20210923/2f4ee6b7061d44a5b7c26730c0a6aae0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 10]: /images/20210923/c6742bcc5d894ae4831db402de74a8ab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 11]: /images/20210923/49a1178508a94921b11f000b40b1538e.png
[20200329234355640.png]: /images/20210923/ba22f0384b3e4fd69d81b3cf6bce760e.png
[20200329234429986.png]: /images/20210923/e450a38f05d44992adb3d7d94948c256.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk5ODcxNQ_size_16_color_FFFFFF_t_70 12]: /images/20210923/e4ca38c48ec141d096069d485623d6b8.png