爬虫中绕过不开的就是requests库，今天就带你了解一下

末蓝、 2022-12-22 09:35 84阅读 0赞

# 前言 #

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

以下文章来源于APython ，作者铝

![b077f5e6405d4f22fc77569171a42fb0.png][]

# 1.Requests简介 #

> 请求是唯一适用于Python的Non-GMO HTTP库，可供人类安全使用。

Python爬虫中绕过不开的就是requests库。而Requests引用urllib在使用方面上引起开发者感到更加人性化，更加简洁，更加舒适。以下摘自Requests官方文档中的功能特性：

1.  保持活力和连接池
2.  国际化域名和URL
3.  带永久Cookie的会话
4.  浏览器式的SSL认证
5.  自动内容解码
6.  基本/摘要式的身份认证
7.  优雅的键/值Cookie
8.  自动解压
9.  Unicode响应体
10. HTTP（S）代理支持
11. 文件分块上传
12. 流下载
13. 连接超时
14. 分块请求
15. 支持.netrc

# 2.要求安装 #

请求是python的三方库，所以我们需要使用pip安装

pip install requests

或者通过二进制安装

git clone git://github.com/kennethreitz/requests.git 
    cd <requests目录>
    python setup.py install

# 3.要求用例 #

*常用的HTTP操作为GET和POST，其他不常用的操作可以参考官方文档或串口调用相应方法即可。*

import requests
    
    # GET 请求
    response = requests.get("https://getman.cn/echo")
    print(response.text)
    
    # GET 构造header,cookie,参数请求
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',
        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    }
    cookie = {"user":"APython"}
    params  = {'my_name':'AL','name':'APython'}
    response=requests.get("https://getman.cn/echo",headers=headers,cookies=cookie,params=params)
    print(response.text)
    
    #POST 请求
    data = {'name': 'APython-post','age': 24,}
    response = requests.post("https://getman.cn/echo", data=data)
    print(response.text)

![36cf359468d7b4a8e152533e3269abca.png][]

*返回值response是一个Response对象，它的常用属性和方法如下：*

![ec36673d6fc29bc3a3595d29e50eea3a.png][]

# 4.请求更多示例 #

import requests
    
    # 下载文件（一）小文件
    url = 'https://raw.githubusercontent.com/psf/requests/master/ext/ss.png'
    response = requests.get(url)
    with open('demo.png', 'wb') as f:
        f.write(response.content)
        
    # 下载文件（二）大文件
    file_url = "https://readthedocs.org/projects/python-guide/downloads/pdf/latest/"
    response = requests.get(file_url)
    with open("python.dpf", "wb") as pdf:
        for chunk in response.iter_content(chunk_size=1024):
            if chunk:
                pdf.write(chunk)
                
    # POST 提交数据返回结果
    url = 'https://api.github.com/some/endpoint'
    data = {'some': 'APython'}
    response = requests.post(url, data=data)
    print(response.text)
    
    #session 会话保持(会话对象可以跨请求保持某些参数)
    session = requests.session()
    session.get(url)
    session.post(url,data)

[b077f5e6405d4f22fc77569171a42fb0.png]: /images/20221120/eba3dd3b3ca44426b984e87e21a5d41d.png
[36cf359468d7b4a8e152533e3269abca.png]: https://img-blog.csdnimg.cn/img_convert/36cf359468d7b4a8e152533e3269abca.png
[ec36673d6fc29bc3a3595d29e50eea3a.png]: https://img-blog.csdnimg.cn/img_convert/ec36673d6fc29bc3a3595d29e50eea3a.png