Python爬虫2------爬虫屏蔽手段之代理服务器实战

小灰灰 2021-09-30 04:30 413阅读 0赞

# #

## 1、代理服务器： ##

一个处于客户端与互联网中间的服务器，如果使用代理服务器，当我们浏览信息的时候，先向代理服务器发出请求，然后由代理服务器向互联网获取信息，再返回给我们。

![1338991-20180516125149619-1932167223.png][]

## 2、代码： ##

import urllib.request
    #proxy_addr="117.36.103.170:8118"，为代理服务器的IP和端口
    #url为要爬取数据的地址
    def use_proxy(url,proxy_addr):
        #采用ProxyHandler函数来设置代理服务器，函数参数为字典，字典的键为"http",值为代理服务器的IP地址，IP地址和端口可以在www.xicidaili.com中找。
        proxy=urllib.request.ProxyHandler({
        "http":proxy_addr})
        #建立opener,bulid_opener的第一个参数为proxy，第二个参数固定为urllib.request.HTTPHandler
        opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
        #将opener设置为全局，下面的操作就可以运用该opener了。
        urllib.request.install_opener(opener)
        data=urllib.request.urlopen(url).read().decode("utf-8","ignore")
        return data
    
    proxy_addr="125.118.79.44:6666"
    url="http://www.baidu.com"
    data=use_proxy(url,proxy_addr)
    print(len(data))

转载于:https://www.cnblogs.com/Lee-yl/p/9045454.html

[1338991-20180516125149619-1932167223.png]: /images/20210725/2f8a6e6cdffa4b1ba8621db95f85ef22.png

发表评论取消回复

表情：

评论列表（有 0 条评论，413人围观）

还没有评论，来说两句吧...

相关阅读

相关爬虫基础：Python爬虫实战：如何设计简单网页爬虫？

设计简单的Python爬虫，主要涉及以下几个步骤： 1. **理解目标网站**：首先要明确你要爬取的网站结构，包括页面链接、HTML元素等。 2. **选择编程语言

快来打我*/ 2025年01月16日 00:15/ 0 赞/ 51 阅读

相关 Python爬虫之ip代理池

可能在学习爬虫的时候，遇到很多的反爬的手段，封ip 就是其中之一。对于封IP的网站。需要很多的代理IP，去买代理IP，对于初学者觉得没有必要，每个卖代

系统管理员/ 2023年10月11日 13:15/ 0 赞/ 125 阅读

相关数据之路 - Python爬虫 - 免费代理

西刺免费代理：[https://www.xicidaili.com/][https_www.xicidaili.com] 快代理：[https://www.kuaida

深碍√TFBOYSˉ_/ 2023年06月02日 11:52/ 0 赞/ 59 阅读

相关爬虫代理

爬虫代理相关网站 \-快代理 \-西祠代理 www.goubanjia.com 请求协议 http https注意请求的url是使用哪一种请求协议的代理

怼烎@/ 2023年06月02日 10:45/ 0 赞/ 27 阅读

相关【Python爬虫】Requests库网络爬虫实战

1.京东商品页面爬取打开某一个京东页面 [https://item.jd.com/69336974189.html][https_item.jd.com_69336974

迷南。/ 2023年02月23日 07:57/ 0 赞/ 101 阅读

相关【python爬虫】python使用代理爬虫例子

原文地址：http://www.cnblogs.com/bbcar/p/3424790.html 侵删 coding:utf-8 import u

爱被打了一巴掌/ 2022年07月16日 05:25/ 0 赞/ 311 阅读

相关 Python爬虫代理池

爬虫代理IP池 > 在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速

怼烎@/ 2022年07月14日 09:22/ 0 赞/ 279 阅读

相关 Python爬虫实战

引言网络爬虫是抓取互联网信息的利器，成熟的开源爬虫框架主要集中于两种语言Java和Python。主流的开源爬虫框架包括： 1.分布式爬虫框架：Nutch

素颜马尾好姑娘i/ 2022年06月16日 08:45/ 0 赞/ 410 阅读

相关 Scrapy爬虫实战：使用代理访问

Scapy爬虫实战：使用代理访问 Middleware 中间件设置代理 middlewares.py settings.py

冷不防/ 2022年04月11日 12:23/ 0 赞/ 425 阅读

相关 Python爬虫2------爬虫屏蔽手段之代理服务器实战

1、代理服务器：一个处于客户端与互联网中间的服务器，如果使用代理服务器，当我们浏览信息的时候，先向代理服务器发出请求，然后由代理服务器向互联网获取信息，再返

小灰灰/ 2021年09月30日 04:30/ 0 赞/ 414 阅读