网咯爬虫java基础样例（URL，HttpURLConnection运用）

傷城~ 2022-09-16 13:27 58阅读 0赞

# 网咯爬虫java基础样例 #

package com.liangrui;
    
    import java.io.BufferedReader;
    import java.io.IOException;
    import java.io.InputStreamReader;
    import java.net.HttpURLConnection;
    import java.net.URL;
    
    /** * @program: study * @description: 网咯爬虫java基础样例 * @author: 良睿 * @create: 2021-10-20 19:39 */
    public class InternetReptileTest { 
        public static void main(String[] args) throws IOException { 
            //获取URL
            URL url =new URL("https://www.dianping.com");
            //下载资源
            HttpURLConnection  conn =(HttpURLConnection) url.openConnection();
            conn.setRequestMethod("GET");
            //模拟浏览器访问
            conn.setRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36 Edg/94.0.992.50");
            BufferedReader br =new BufferedReader(new InputStreamReader(conn.getInputStream(),"UTF-8"));
            String msg =null;
            while(null!=(msg=br.readLine())) { 
                System.out.println(msg);
            }
            br.close();
            //分析
            //处理。。。。
        }
    }

# 到此，网咯爬虫java基础样例已完成。有问题随时评论，觉得有用的话记得点个赞哦！ #

# 在代码实例中学习知识，学和用兼备，想要长期学习的小伙伴记得关注哦！ #

发表评论取消回复

表情：

评论列表（有 0 条评论，58人围观）

还没有评论，来说两句吧...

相关阅读

相关 21经济网爬虫样例

本文主要记录如何基于 Scrapy 获取 [21经济网][21] 中金融分类下的新闻资讯内容。 items.py import scrapy

向右看齐/ 2023年07月16日 07:59/ 0 赞/ 20 阅读

相关国家统计局爬虫样例

本文主要记录如何基于 Scrapy 获取 [国家统计局][Link 1] 中最新发布的新闻资讯内容。 items.py import scrapy

待我称王封你为后i/ 2023年07月15日 09:25/ 0 赞/ 67 阅读

相关 Scala系列17：样例类，样例对象以及样例方法使用详解

目录 0.样例类 0.1定义样例类语法 0.2示例 | 定义一个样例类 1.样例类的方法 1.1 apply方法 1.2 toString方法 1.3 equa

蔚落/ 2022年12月04日 03:26/ 0 赞/ 345 阅读

相关 rocketmq普通消息样例、顺序消息样例、延时消息样例、批量消息样例、过滤消息样例、事务消息样例

样例xiao -------------------- 1 基本样例在基本样例中我们提供如下的功能场景：使用RocketMQ发送三种类型的消息：同步消

刺骨的言语ヽ痛彻心扉/ 2022年11月27日 01:56/ 0 赞/ 287 阅读

相关 java 样例数据库_java连接mysql数据库样例

标签：package packagename; import java.sql.Connection; import java.sql.DriverManager; im

╰+哭是因爲堅強的太久メ/ 2022年11月08日 14:21/ 0 赞/ 291 阅读

相关 php样例

<?php //选择执行的函数 $operate=$_POST["operate"]; //获取html $htmlStr=$_

野性酷女/ 2022年09月23日 14:47/ 0 赞/ 353 阅读

相关网咯爬虫java基础样例（URL，HttpURLConnection运用）

网咯爬虫java基础样例 package com.liangrui; import java.io.BufferedReader; im

傷城~/ 2022年09月16日 13:27/ 0 赞/ 59 阅读

相关网络爬虫ip代理服务器【程序样例】

爬虫有的时候会遇到被禁ip的情况，这个时候你可以找一下代理网站，抓取一下ip，来进行动态的轮询就没问题了，也可以用别人做好的第三方ip代理平台，比如说crawlera，craw

浅浅的花香味﹌/ 2022年07月12日 03:39/ 0 赞/ 243 阅读

相关样例1

[文章识别码：\[496A39C811C3FA\]][496A39C811C3FA] [496A39C811C3FA]: https://blog.csdn.net/kfl

野性酷女/ 2022年03月17日 04:18/ 0 赞/ 368 阅读

相关 Fetch样例

fetch( "http://sre-act.adp.test.sankuai.com/sre/query/cdKey/queryByCdKey?activity

待我称王封你为后i/ 2021年06月24日 15:58/ 0 赞/ 730 阅读