python(四)网页下载器

青旅半醒 2021-09-27 04:36 257阅读 0赞

![这里写图片描述][70]  
网页下载器有两种:  
1 urllib2 —Python官网基础模块  
2 requests —第三方包更强大

urllib2  
最简洁的方法  
urllib2.urlopen(url)  
![这里写图片描述][70 1]

urllib2下载网页方法2 :添加data,http header  
![这里写图片描述][70 2]

![这里写图片描述][70 3]

urllib2方法3 :添加特殊情景的处理器  
HTTPCookieProcessor :有些网站需要登录才可以使用,我们就用这个.  
ProxyHandle:有些网页需要代理才可用使用,我们用这个.  
HTTPSHandler:有些网页是使用HTTPS加密访问的,我们使用这个  
HTTPRedirectHandler:有些网页URL自动跳转的关系,我们使用这个.  
![这里写图片描述][70 4]  
举个coockie的栗子  
![这里写图片描述][70 5]

代码栗子:

import urllib.request,http.cookiejar

url = “[http://www.baidu.com][http_www.baidu.com]”  
print(“第一种方法”)  
response1 = urllib.request.urlopen(url)  
print(response1.getcode())  
print(len(response1.read()))

print(“第二种方法”)  
request = urllib.request.Request(url)  
request.add\_header(“user-agent”, ‘Mozilla/5.0’)  
response2 = urllib.request.urlopen(request)  
print(response2.getcode())  
print(len(response2.read()))

print(“第三种方法”)  
cj = http.cookiejar.CookieJar()  
opener = urllib.request.build\_opener(urllib.request.HTTPCookieProcessor(cj))  
urllib.request.install\_opener(opener)  
response3 = urllib.request.urlopen(url)  
print(response3.getcode())  
print(cj)  
print(response3.read())

学习自:慕课网

[70]: /images/20210923/1b4eff9f86f5422999ed19fe0edc18b9.png
[70 1]: /images/20210923/529a67e00a624899bfdc32d69aae01dc.png
[70 2]: /images/20210923/68f84d1ed53b4f4a83585b40d0b60d7a.png
[70 3]: /images/20210923/159f5e93a18a48c586bb0b42eccee765.png
[70 4]: /images/20210923/1da727af2e824cc7b660ecb68b7e7731.png
[70 5]: /images/20210923/3e623a99fcdc4b9ea5122908f26105ee.png
[http_www.baidu.com]: http://www.baidu.com