python中的opener_urllib2自定义opener详解

逃离我推掉我的手 2023-01-09 14:23 159阅读 0赞

urllib2.urlopen()函数不支持验证、cookie或者其它HTTP高级功能。要支持这些功能，必须使用build\_opener()函数创建自定义Opener对象。

复制代码 代码如下:

build\_opener(\[handler1 \[ handler2, ... \]\])

参数handler是Handler实例，常用的有HTTPBasicAuthHandler、HTTPCookieProcessor、ProxyHandler等。

build\_opener ()返回的对象具有open()方法，与urlopen()函数的功能相同。

如果要修改http报头，可以用：

复制代码 代码如下:

import urllib2

opener = urllib2.build\_opener()

opener.addheaders = \[('User-agent', 'Mozilla/5.0')\]

opener.open('http://www.example.com/')

2. install\_opener(opener)

安装不同的opener对象作为urlopen()使用的全局opener。

3. 密码验证(HTTPBasicAuthHandler)

HTTPBasicAuthHandler()处理程序可用add\_password()来设置密码。

复制代码 代码如下:

h.add\_password(realm,uri,user,passwd)

realm是与验证相关联的名称或描述信息，取决于远程服务器。uri是基URL。user和passwd分别指定用户名和密码。

复制代码 代码如下:

import urllib2

auth=urllib2.HTTPBasicAuthHandler()

auth.add\_password('Administrator','http://www.example.com','Dave','123456')

opener=urllib2.build\_opener(auth)

u=opener.open('http://www.example.com/evilplan.html')

4. Cookie处理(HTTPCookieProcessor)

复制代码 代码如下:

import urllib2,cookielib

cookie=cookielib.CookieJar()

cookiehand=urllib2.HTTPCookieProcessor(cookie)

opener=urllib2.build\_opener(cookiehand)

5.代理(ProxyHandler)

ProxyHandler(proxies)参数proxies是一个字典，将协议名称(http，ftp)等映射到相应代理服务器的URL。

复制代码 代码如下:

proxy=ProxyHandler(\{'http':'http://someproxy.com:8080'\})

auth=HTTPBasicAuthHandler()

auth.add\_password()

opener=build\_opener(auth,proxy)

也可以在urlopen中使用代理

复制代码 代码如下:

import urllib2

proxy = 'http://%s:%s@%s' % ('userName', 'password', 'proxy')

inforMation = urllib2.urlopen("http://www.example.com", proxies=\{'http':proxy\})

本文标题: urllib2自定义opener详解

本文地址: http://www.cppcns.com/jiaoben/python/104814.html

发表评论取消回复

表情：

评论列表（有 0 条评论，159人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java中自定义注解的使用详解

一、注解的概念 1.注解的概念 1. 注解是一种元数据形式。即注解是属于java的一种数据类型，和类、接口、数组、枚举类似。 2. 注解用来修饰，类、方法、变量

墨蓝/ 2023年10月08日 09:22/ 0 赞/ 49 阅读

相关 Java中自定义异常详解

下面是一个自定义的 Java 异常类的例子： public class MyException extends Exception { private

ゝ一纸荒年。/ 2023年09月25日 23:38/ 0 赞/ 53 阅读

相关 python中的opener_urllib2自定义opener详解

urllib2.urlopen()函数不支持验证、cookie或者其它HTTP高级功能。要支持这些功能，必须使用build\_opener()函数创建自定义Opener对象。

逃离我推掉我的手/ 2023年01月09日 14:23/ 0 赞/ 160 阅读

相关 Spark SQL中自定义函数详解

目录一、自定义函数UDF 二、自定义聚合函数UDAF 一、自定义函数UDF 数据源： { "deptName":"dept-

￡神魔★判官ぃ/ 2022年12月27日 07:38/ 0 赞/ 246 阅读

相关 javascript中自定义类(2)

<html> <head> <title>javascript中自定义类2</title> <script>

红太狼/ 2022年09月19日 08:05/ 0 赞/ 199 阅读

相关数据库中自定义存储函数详解

MySQL数据库中有很多已经存在的函数，比如count、sun、min、max和avg等等，除了这些，我们还可以自定义自己所需要的存储函数，其创建存储函数的基本

秒速五厘米/ 2022年07月25日 15:56/ 0 赞/ 197 阅读

相关 Handler处理器和自定义opener

Handler处理器和自定义opener 在我们使用urllib库请求是都是使用urlopen()方法实现的。实际上它的底层是使用HTTPHandler个Opener来实

r囧r小猫/ 2022年06月05日 03:49/ 0 赞/ 248 阅读

相关 Handler处理器和自定义Opener

opener是 urllib2.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。

悠悠/ 2022年06月01日 01:10/ 0 赞/ 228 阅读

相关 Python网络爬虫笔记（8）Handler处理器和自定义Opener

opener是 urllib.request.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建

拼搏现实的明天。/ 2022年05月26日 03:39/ 0 赞/ 241 阅读

相关 MapReduce中的InputFormat（2）自定义

1 概述 Hadoop内置的输入文件格式类有： 1）FileInputFormat<K,V>这个是基本的父类，自定义就直接使用它作为父类。 2）TextInput

妖狐艹你老母/ 2021年09月26日 02:12/ 0 赞/ 378 阅读