Spider——urllib2添加headers和设置代理

叁歲伎倆 2022-05-16 11:06 138阅读 0赞

> 为了伪装成一个正常的浏览器去爬取数据，我们就需要在程序中对我们的请求进行一些必要的包装。比如设置headers模仿一个正常浏览器访问，设置代理，防止ip屏蔽。

#### 设置headers ####

*  构造headers加入到请求中

import urllib2
    
    url = "http://www.baidu.cn"
    header = {
       "User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"} 
    
    # url 连同 headers，一起构造Request请求
    request = urllib2.Request(url, headers = header)
    # 向服务器发送这个请求
    response = urllib2.urlopen(request)
    html = response.read()
    print html

*  添加特定header

response.add_header("Connection":"keep-alive")

#### 设置代理 ####

urllib2中通过ProxyHandler来设置使用代理服务器

import urllib2
    
    # 构建代理Handler
    httpproxy_handler = urllib2.ProxyHandler({
       "http" : "124.88.67.81:80"})
    proxySwitch = True #定义一个代理开关
    
    # 通过 urllib2.build_opener()方法使用这些代理Handler对象，创建自定义opener对象
    opener = urllib2.build_opener(httpproxy_handler)
    request = urllib2.Request("http://www.baidu.com/")
    
    # 1. 只有使用opener.open()方法发送请求才使用自定义的代理。
    response = opener.open(request)
    
    # 2. 将opener应用到全局，opener.open()和urlopen()使用自定义代理。
    # urllib2.install_opener(opener)
    # response = urlopen(request)
    
    print response.read()

发表评论取消回复

表情：

评论列表（有 0 条评论，138人围观）

还没有评论，来说两句吧...

相关阅读

相关 OpenFeign设置header

设置Feign的Header信息(五种方式) 概述在微服务间使用Feign进行远程调用时需要在 header 中添加信息，那么 springcloud open

爱被打了一巴掌/ 2024年03月25日 10:01/ 0 赞/ 153 阅读

相关 fiddler设置2层代理

有时候需要使用fiddler发包时再使用一个代理进行发包在规则-自定义规则中设置2层代码即可 ![bb56e96c1ca94cba8abeabb5da0ca995.png

r囧r小猫/ 2023年10月13日 21:01/ 0 赞/ 53 阅读

相关 http header头设置反向代理不缓存

1、Expries:网页的cache过期时间，到指定日期网页cache失效 2、Last-Modified:网页的最新更新时间 3、Cache-Co

喜欢ヅ旅行/ 2023年10月11日 11:43/ 0 赞/ 65 阅读

相关 Feign设置Header头部,@Headers无效

在使用FeignClient调用外部接口的时候，需要在请求头部添加header的参数，用于请求的认证。在查找Feign文档中提供了@Headers注解，该注解可以完成头部的添加

素颜马尾好姑娘i/ 2023年08月17日 15:45/ 0 赞/ 225 阅读

相关 httpServletRequest添加header

> 反射机制设置header private void reflectSetHeader(HttpServletRequest request, String key

﹏ヽ暗。殇╰゛Y/ 2023年03月14日 05:48/ 0 赞/ 60 阅读

相关 git设置代理和取消代理

设置如下（可复制）：git config --global https.proxy http://127.0.0.1:1080 git config --global http

￡神魔★判官ぃ/ 2022年09月27日 06:35/ 0 赞/ 249 阅读

相关在SpringBoot2设置Max-HTTP-Header-Size

1.介绍默认情况下，Spring Boot Web 应用程序包括一个预配置的嵌入式 Web 服务器。但是，在某些情况下，希望修改默认配置以满足自定义要求。如何在

缺乏、安全感/ 2022年09月04日 11:53/ 0 赞/ 220 阅读

相关 Spider——urllib2添加headers和设置代理

> 为了伪装成一个正常的浏览器去爬取数据，我们就需要在程序中对我们的请求进行一些必要的包装。比如设置headers模仿一个正常浏览器访问，设置代理，防止ip屏蔽。设置he

叁歲伎倆/ 2022年05月16日 11:06/ 0 赞/ 139 阅读

相关 SpringCloud 中 Feign 调用添加 Oauth2 Authorization Header

SpringCloud 中 Feign 调用添加 Oauth2 Authorization Header > SpringCloud 中通过 Feign 调用其他服务，当

向右看齐/ 2022年05月16日 09:09/ 0 赞/ 319 阅读

相关 curl设置header和表单数据

> 老是分不清楚header和表单时的写法，每次都去翻别人的博客从浏览器中获取某个请求的curl版本 ![在这里插入图片描述][watermark_type_ZmFu

ゝ一世哀愁。/ 2022年03月01日 06:22/ 0 赞/ 424 阅读