浅谈Python两大爬虫库——urllib库和requests库区别

我不是女神ヾ 2023-01-22 12:54 202阅读 0赞

点击上方“**Python爬虫与数据挖掘**”，进行关注

回复“**书籍**”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

只愿君心似我心，定不负相思意。

## 一、前言 ##

在使用Python爬虫时，需要模拟发起网络请求，主要用到的库有requests库和python内置的urllib库，一般建议使用requests，它是对urllib的再次封装。

那它们两者有什么区别 ?

下面通过案例详细的讲解 ，了解他们使用的主要区别。

## 二、urllib库 ##

#### 简介： ####

urllib库的response对象是先创建http，request对象，装载到reques.urlopen里完成http请求。

返回的是http，response对象，实际上是html属性。使用.read().decode()解码后转化成了str字符串类型，decode解码后中文字符能够显示出来。

例

from urllib import request
    #请求头
    headers = {
        "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36'
    }
    wd = {"wd": "中国"}
    url = "http://www.baidu.com/s?"
    req = request.Request(url, headers=headers)
    response = request.urlopen(req)
    print(type(response))
    print(response)
    res = response.read().decode()
    print(type(res))
    print(res)

运行结果：

![c0bb8a7a51b3a2e1598b40531cf89d09.png][]

注意：

通常爬取网页，在构造http请求的时候，都需要加上一些额外信息，什么Useragent，cookie等之类的信息，或者添加代理服务器。往往这些都是一些必要的反爬机制。

## 三、requests库 ##

#### 简介： ####

requests库调用是requests.get方法传入url和参数，返回的对象是Response对象，打印出来是显示响应状态码。

通过.text 方法可以返回是unicode 型的数据，一般是在网页的header中定义的编码形式，而content返回的是bytes，二级制型的数据，还有 .json方法也可以返回json字符串。

如果想要提取文本就用text，但是如果你想要提取图片、文件等二进制文件，就要用content，当然decode之后，中文字符也会正常显示。

#### requests的优势： ####

Python爬虫时，更建议用requests库。因为requests比urllib更为便捷，requests可以直接构造get，post请求并发起，而urllib.request只能先构造get，post请求，再发起。

例：

import requests
    
    
    headers = {
        "User-Agent": "Mozilla/5.0 (Linux; U; Android 8.1.0; zh-cn; BLA-AL00 Build/HUAWEIBLA-AL00) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/57.0.2987.132 MQQBrowser/8.9 Mobile Safari/537.36"
    }
    wd = {"wd": "中国"}
    url = "http://www.baidu.com/s?"
    response = requests.get(url, params=wd, headers=headers)
    data = response.text
    data2 = response.content
    print(response)
    print(type(response))
    print(data)
    print(type(data))
    print(data2)
    print(type(data2))
    print(data2.decode())
    print(type(data2.decode()))

运行结果 （可以直接获取整网页的信息，打印控制台）：

![5ed768f7de5c989d2c0514c237b5c6e8.png][]

## 四、总结 ##

1.  本文基于Python基础，主要介绍了urllib库和requests库的区别。
2.  在使用urllib内的request模块时，返回体获取有效信息和请求体的拼接需要decode和encode后再进行装载。进行http请求时需先构造get或者post请求再进行调用，header等头文件也需先进行构造。
3.  requests是对urllib的进一步封装，因此在使用上显得更加的便捷，建议在实际应用当中尽量使用requests。
4.  希望能给一些对爬虫感兴趣，有一个具体的概念。方法只是一种工具，试着去爬一爬会更容易上手，网络也会有很多的坑，做爬虫更需要大量的经验来应付复杂的网络情况。
5.  希望大家一起探讨学习， 一起进步。

**---\--\---\---\---\--\---** End **---\--\---\--\---\---\--\-**

往期精彩文章推荐：

*  ## [一篇文章带你解析Python进程][Python] ##
 *  ## [一篇文章带你全面解析不一样的线程][Link 1] ##
 *  ## [一篇文章带你读懂批处理命令][Link 2]    ##

![7fa6647f37edeb150ec6d4c2c95b78ef.png][]

欢迎大家**点赞，****留言，****转发，转载，**感谢大家的相伴与支持

想加入Python学习群请在后台回复【**入群**】

万水千山总是情，点个【**在看**】行不行

**/今日留言主题/**

随便说一两句吧~~

[c0bb8a7a51b3a2e1598b40531cf89d09.png]: /images/20221020/a9e0beee349d454a8f92277e3612a7f9.png
[5ed768f7de5c989d2c0514c237b5c6e8.png]: /images/20221020/33e17c41ecdc4ec19707f8fb679ae1ad.png
[Python]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0a8cecbb721d89b33c6d5e67bdb81745d6819675611204be2c6a94a6e4fdec7847dae0a18&idx=1&mid=2247495397&scene=21&sn=028a4624e0aeaca176c0fc15f0740ef2#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0a8fdcbb721eb2dd2b55e3ddb3fbca016bd56878e88f533919ab459e5234de4ae53b8e64c&idx=2&mid=2247495382&scene=21&sn=752f4b988332a7855f3f55a2724fe132#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0a899cbb7218f6068d839bdf996343dd55024137c789ecbeaffd4021af63faa14b1dc9c3b&idx=1&mid=2247495346&scene=21&sn=fb1cfa625f4a52d25d00a73cb67b4c79#wechat_redirect
[7fa6647f37edeb150ec6d4c2c95b78ef.png]: /images/20221020/b5d18870435f406c9cbdaa8cf1e898cf.png