Python网络爬虫之Requests库

刺骨的言语ヽ痛彻心扉 2022-06-12 04:43 420阅读 0赞

Requests库是Python的第三方库，是公认的最好的网络爬取的库。本文将对Requests库的学习（MOOC中国大学课程）做一个总结，对Requests库做一个全面的解释。以下的讲解按照如下的目录顺序进行，所有内容在不断的学习和更新中。

1.Requests库的功能介绍

2.Requests库的安装

3.Requests库的7种常用方法

3.1最基础的方法—request()方法

3.1.1 method访问请求方法

3.1.2 \*\*kwrgs控制访问参数类型

3.2最常用的方法—get()方法

3.3其他的常用5种方法

# 1.Requests库的功能介绍 #

按照我个人的理解，Requests库是Python的一个第三方库，主要的功能是让人们可以提取网页的内容，通过HTTP协议获取网络上的资源，侧重点在于获取资源和提交资源。该库本身不包含对资源的解析和应用。更多资料可以参考Reuqests库的官方网址。

# 2.Requests库的安装                       #

在完成Python的安装之后，Python的安装可以参照【Python安装详细步骤】

即可使用pip快读进行Python各个库的安装，在开始按钮中搜索cmd，并用用管理员身份打开cmd命令行窗口

使用如下的pip安装命令完成Requests库的安装

pip install requests

# 3.Requests库的7种常用方法          #

## 3.1最基础的方法——requests( )方法 ##

requests.request（method,url,**kwargs）

其中

method是请求方法，对应get/put、post等7种

URL是拟获取页面的链接

\*\*kwargs是访问控制参数，共13个

以下分别做介绍

### 3.1.1method访问请求方法 ###

method的7中请求方法与HTTP协议的7中访问方式对应，分别是GET、HEAD、POST、PUT、PATCH、delete、OPTIONS.

r = requests.request('GET',url,**kwrgs)
    r = requests.request('HAED',url,**kwrgs)
    r = requests.request('POST',url,**kwrgs)
    r = requests.request('PUT',url,**kwrgs)
    r = requests.request('PATCH',url,**kwrgs)
    r = requests.request('DELETE',url,**kwrgs)
    r = requests.request('OPTIONS',url,**kwrgs)  #向服务器获取客户端和服务器间通信的相关参数

为了更好的理解method访问请求方法，我们需要首先理解HTTP协议，因为HTTP协议的访问请求方法与此处的method请求方法基本一致。

HTTPHypertext Transfer Protocol超文本传输协议：它是一种基于“请求与响应”模式的、无状态的应用层协议。用户发起请求，服务器做相应的响应，无状态是指前一次请求和后一次请求没有关联。HTTP协议分为两个主要部分：①URL，②HTTP协议对资源的操作方法。简单来说，HTTP其实就是请求资源与获得资源的过程，其中URL是起到定位资源的作用，而②提供对资源的操作方法。①和②结合起来就能组成HTTP协议的主要结构。

①HTTP协议规定URL格式http://host\[:port\]\[path\]。host是合法Internet主机域名或IP地址；port是端口号，可以省略，默认为80；path是服务器上包含的内部路径。例如http://10.3.8.211/duty

②HTTP协议对资源共有6种操作方法，分别是GET、HEAD、POST、PUT、PATCH、DELETE

GET	请求获取URL位置的资源
    HEAD	请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
    POST	请求向URL位置的资源后附加新的数据
    PUT	请求向URL位置存储一个资源，覆盖原URL位置的资源
    PATCH	请求局部更新URL位置的资源，即改变该处资源的部分内容
    DELETE	请求删除URL位置存储的资源

### 3.1.2\*\*kwargs访问控制参数类型 ###

控制访问参数共有13个，他们分别是params、data、json、headers、cookies、auth、files、timeout、proxies、allow\_redirects、stream、verif和cert。他们均为可选项，下面进行逐一的介绍。

**① params**：字典或字节序列，作为参数增加到URL中。可以将键值对的内容加到URL中，例如下面的例子，将params等于键值对kv，则在最后输出的URL中发现，多了一个问号，而且在问号之后有之前设置的键值对。

>>> kv = {'key1':'value1','key2':'value2'}
    >>> r = requests.request('GET','http://python123.io/ws',params=kv)
    >>> print(r.url)
    http://www.baidu.com/ws?key1=value1&key2=value2

**② data**：字典、字节序列或文件对象，作为Requests的内容，和params的区别就在于params将内容加到URL中，而data是将内容传送到URL对应的服务器中。

>>> kv = {'key1':'value1','key2':'value2'}
    >>> r =requests.request('POST','http://www.baidu.com",data=kv)
    >>> body = '主体内容'
    >>> r =requests.request('POST',"http://www.baidu.com',data=body)

**③ json**：JSON格式的数据，作为Request的内容。与data比较像，也是将内容提交到URL对应的服务器中，而且是提交到对应服务器的JSON域。

>>> kv = {'key1':'value1'}
    >>> r = requests.request('POST','http://www.baidu.com',json=kv)

**④ headers**：字典，HTTP定制头，用这个字段定义访问请求的header。该功能主要应用在请求的头定制。

>>> hd = {'user-agent':'Chrome/10'}
    >>>r = requests.request('POST','http://www.baidu.com',headers=hd)

**⑤ cookies**：字典或CookieJar，Request中的Cookie

**⑥ auth**：元组，支持HTTP认证功能。auth和cookies都是request方法中比较高级的属性。

**⑦ files**：字典类型，向服务器传输文件时的方法属性，向某一个链接提交某一个文件。

>>> fs ={'file':'data.xls','rb')
    >>> r = requests.request('POST','http://www.baidu.com',files=fs)

**⑧ timeout**：设定超时时间，单位为秒

**⑨ proxies**：字典类型，设定访问代理服务器，再访问对应的URL时使用代理服务器的IP地址，而隐藏自身真实的IP地址

>>> pxs = { 'http':"http://user:pass@10.10.10.1:1234','https://10.10.10.1:4321'}
    >>>r = requests.request('GET','http://www.baidu.com',proxies=pxs)

当在访问百度时，所使用的IP就是就是代理服务器的IP地址，可以隐藏爬取源的IP地址，有效防止逆追踪

**⑩allow\_redirects** ：True/False，默认为True，重定向开关

**⑾stream**： True/False，默认为True，获取内容立即下载开关

**⑿verif**： True/False，默认为True，认证SSL证书开关

**⒀ cert**：本地SSL证书路径

这四个字段分别对应的都是相应的高级功能

## 3.2 最常用的方法—— get( )方法 ##

r=requests.get(URL,params,**kwargs)

URL： 是拟获取页面的URL链接

params： URL中可选的额外参数，字典或字节流格式，与requests中的params对应

\*\*kwargs： 12个控制访问的参数，与requests中的对应

该方法构造一个向服务器请求资源的Requests对象，返回一个包含服务器资源的Response对象

#Response对象的属性
    r.status_code       #HTTP请求的返回状态，200表示连接成功，404及其他均表示失败
    r.text              #HTTP响应内容的字符串形式，即URL对应的页面内容
    r.encoding          #从HTTP header中猜测的响应内容编码方式
    r.apparent_encoding #从内容分析出的响应内容编码方式
    r.content           #HTTP响应内容的二进制形式

\*说明：recoding是从HTTP header中猜测相应内容的编码方式，如果header中不存在charset字段，则会默认为编码为ISO-8859-1。因此有时候由该方法获得的编码方式不一定正确。而apparent\_encoding是从响应的内容中分析出来的编码方式，其准确性更高，在使用text属性查看返回内容出现乱码时，可以考虑是否是编码方式猜测错误造成，利用r.encoding= r.apparent\_encoding即可完成编码转换，然后即可看到显示正常的页面内容。

get()方法的使用常常按照下面的步骤进行：首先利用status\_code属性检查是否连接成功，如果返回200则说明连接成功，下面进行编码设定等操作。

## 3.3其他的5中Requests库的方法 ##

Requests库的剩余5种方法如下，他们各自有各自的功能。

requests.get(url,params=None,**kwrgs)
    requests.post(url,data=None,json=None,**kwargs)
    requests.put(url,data=None,**kwargs)
    requests.patch(url,data=None,**kwargs)
    requests.delete(url,**kwargs)