python中urllib2高级应用使用代理模拟浏览器 cookie

你的名字 2022-08-21 07:49 169阅读 0赞

之前的文章分享了一下python中requests[如何使用代理][Link 1]以及[如何处理乱码问题][Link 2]，还有[使用cookies的问题][cookies]，有感兴趣的可以查看。

urllib2简介

urllib2提供一个基础函数urlopen，通过向指定的URL发出请求来获取数据。最简单的形式就是

import urllib2
    response=urllib2.urlopen('http://www.douban.com')
    html=response.read()

这个过程就是我们平时刷网页的代码表现形式，它基于请求-响应模型。

response=urllib2.urlopen('http://www.douban.com')

实际上可以看作两个步骤:   
我们指定一个域名并发送请求

request=urllib2.request('http://www.douban.com')

接着服务端响应来自客户端的请求

response=urllib2.urlopen(request)

也许你会注意到，我们平时除了刷网页的操作，还有向网页提交数据。这种提交数据的行为，urllib2会把它翻译为:

import urllib
    import urllib2
    url = 'http://www.douban.com'
    info = {'name' : 'Michael Foord',
              'location' : 'Northampton'}
    data = urllib.urlencode(info)  #info 需要被编码为urllib2能理解的格式，这里用到的是urllib
    req = urllib2.Request(url, data)
    response = urllib2.urlopen(req)
    the_page = response.read()

有时你会碰到，程序也对，但是服务器拒绝你的访问。这是为什么呢?问题出在请求中的头信息(header)。   
有的服务端有洁癖，不喜欢程序来触摸它。这个时候你需要将你的程序伪装成浏览器来发出请求。请求的方式就包含在header中。   
常见的情形:

import urllib
    import urllib2
    url = 'http://www.someserver.com/cgi-bin/register.cgi'
    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'# 将user_agent写入头信息
    values = {'name' : 'Michael Foord',
              'location' : 'Northampton',
              'language' : 'Python' }
    headers = { 'User-Agent' : user_agent }
    data = urllib.urlencode(values)
    req = urllib2.Request(url, data, headers)
    response = urllib2.urlopen(req)
    the_page = response.read()

学会使用urllib2 利用cookie  
![Center][]  
说明：   
1.人人网的登录地址需要用BeautifulSoup来抓取。   
2.个人信息存在info中。info是一个字典\{'email':'xx','password':'xx'\}.key的命名需要根据实际网页中定义，比如豆瓣的定义是\{'form\_email':'xx','form\_password':'xx'\}   
3.使用cookie的好处在于，登录之后你可以使用cookie中保存的信息作为头信息的一部分，利用已经保存的头信息接着访问网站。

下面解决的问题是如何在urllib2中**使用代理**：

proxies={"http":"114.244.112.220:8118"}   #设置你想要使用的代理
    proxy_s=urllib2.ProxyHandler(proxies)     
    opener=urllib2.build_opener(proxy_s)      
    urllib2.install_opener(opener)
    content=urllib2.urlopen('http://ip.catr.cn/').read()#读取指定网站的内容

ff=open("content.txt",'w')
    ff.writelines(content)
    ff.close()

这里所使用的网址 http://ip.catr.cn/是用来检测你访问该网站所使用的ip。这也是检测使用代理是否成功很好的办法。

![Center 1][]

然后将内容content输出到本地文件到content.txt中，当然也可以直接输出到IDE中，直接Ctr+F，查询所使用的ip 114.244.112.220是否存在。

如果存在说明代理使用成功了。

[Link 1]: http://blog.csdn.net/winterto1990/article/details/51220307
[Link 2]: http://blog.csdn.net/winterto1990/article/details/51217363
[cookies]: http://blog.csdn.net/winterto1990/article/details/51213029
[Center]: /images/20220724/f630bf485a304e31a7de7739a2c64eaf.png
[Center 1]: /images/20220724/95dfbb7aeb584925bb6e4c0f5a795830.png