抓数据+代理

小鱼儿 2022-05-29 03:52 143阅读 0赞

**网络爬虫技术学习，更多知识请访问[https://www.itkc8.com][https_www.itkc8.com]**

测试代码如下  
public static void proxy() throws IOException \{   
URL url = new URL("[http://www.test.com/"][http_www.test.com]);  
InetSocketAddress address = new InetSocketAddress("x.x.x.x", 8888);  
Proxy proxy = new Proxy(Proxy.Type.HTTP, address);  
Authenticator.setDefault(new MyAuthenticator(new String("root".getBytes("UTF-8")), new String("password".getBytes("UTF-8"))));  
HttpURLConnection connection = (HttpURLConnection) url.openConnection(proxy);  
InputStreamReader in = null;  
BufferedReader reader = null;  
try \{   
in = new InputStreamReader(connection.getInputStream());  
reader = new BufferedReader(in);  
StringBuffer buffer = new StringBuffer();  
String line;  
while ((line = reader.readLine()) != null) \{   
buffer.append(line);  
\}  
System.out.println(buffer);  
\} finally \{   
if (in != null) \{   
in.close();  
\}  
if (reader != null) \{   
reader.close();  
\}  
\}  
\}  
如果不使用代理，一切正常

[https_www.itkc8.com]: https://www.itkc8.com/
[http_www.test.com]: http://www.test.com/%22

发表评论取消回复

表情：

评论列表（有 0 条评论，143人围观）

还没有评论，来说两句吧...

相关阅读

相关 Burp Suite抓包工具配置代理手机抓取数据包

![584b9112cc394fefad85f13e12e88dcb.png][] 工作中很多手机上的问题因为环境差异导致无法在pc设备上完整的模拟真实物理手机，因此需要方法

青旅半醒/ 2023年10月14日 21:11/ 0 赞/ 66 阅读

相关 iOS 判断系统是否开启代理（防抓包）

直接上代码 - (void)checkHTTPEnable { NSDictionary ref = (__bridge NSDictionary

分手后的思念是犯贱/ 2023年10月09日 11:58/ 0 赞/ 66 阅读

相关 Charles代理手机上网抓包

1.首先下载安卓Charles. 2.设置防火墙 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6L

绝地灬酷狼/ 2023年01月08日 10:30/ 0 赞/ 227 阅读

相关 jmeter代理抓包进行自动录制脚本

jmeter录制脚本，最常用是badboy,不过badboy本身也是一款自动化测试工具，之前也有介绍过badboy的使用方法，公众号也有badboy的安装包，大家可以自取，在此

刺骨的言语ヽ痛彻心扉/ 2022年12月02日 15:06/ 0 赞/ 260 阅读

相关小米wifi+fidder设置代理抓包

1 安装fidder 打开官网，官网下载地址是[https://www.telerik.com/download/fiddler][https_www.telerik.c

小咪咪/ 2022年12月02日 13:42/ 0 赞/ 313 阅读

相关（Android APP）HTTP调试代理之Fiddler抓包

HTTP调试代理之Fiddler抓包 ![Ad-Tech_D.gif][] 介绍： > Fiddler是一款非常流行并且实用的http抓包工具，它的原理是在本机开启了一个

本是古典何须时尚/ 2022年09月29日 04:17/ 0 赞/ 194 阅读

相关抓数据+代理

网络爬虫技术学习，更多知识请访问[https://www.itkc8.com][https_www.itkc8.com] 测试代码如下 public static voi

小鱼儿/ 2022年05月29日 03:52/ 0 赞/ 144 阅读

相关 Charles抓包和代理配置详解

Charles抓包和代理配置详解 1. 官网下载charles。[https://www.charlesproxy.com/][https_www.charlesprox

我会带着你远行/ 2022年04月08日 12:17/ 0 赞/ 488 阅读

相关 Android 跳过系统代理防止被抓包采集

近期自家公司[企业号][Link 1]app被抓包严重，想了一下是不是有可以清除系统代理的方法，系统代理肯定是跟系统配置有关后面试着打印了一下SystemProperty（字段

系统管理员/ 2022年03月14日 10:54/ 0 赞/ 580 阅读

相关分布式爬虫使用代理IP抓数据思路架构与实现

技术人员在使用分布式爬虫，或是石桌多进程爬虫的时候，目标一旦限制，很有可能会使用到代理IP。做爬虫使用的代理IP一定不能是开放的，一定要找高匿[私密代理IP][IP] 怎

╰半夏微凉°/ 2022年01月12日 03:37/ 0 赞/ 301 阅读