Java代码实现网页数据爬取-HttpClient

悠悠 2022-12-21 02:25 165阅读 0赞

### 一、环境准备 ###

*  软件准备： Idea ， maven

### 二、创建SpringBoot项目 ###

（创建过程略）

### 三、 编写pom文件，导入相关依赖 ###

<dependency>
                <groupId>org.apache.httpcomponents</groupId>
                <artifactId>httpclient</artifactId>
                <version>4.5.9</version>
            </dependency>
    
            <dependency>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-log4j12</artifactId>
                <version>1.7.26</version>
            </dependency>

### 四、 编写demo ###

// 爬虫入门
        public static void main(String[] args) throws IOException {
            //1. 打开浏览器
            CloseableHttpClient httpClient = HttpClients.createDefault();
    
            //2. 输入网址； 发起get请求创建httpGet请求
            HttpGet httpGet = new HttpGet("https://www.cnblogs.com/");
    
            //3. 按回车，发起请求，返回响应； 使用HttpClient对象发起请求
            CloseableHttpResponse response = httpClient.execute(httpGet);
    
            //4. 解析响应，获取数据
            // 判断状态码是否是200
            if(response.getStatusLine().getStatusCode()==200) {
                HttpEntity httpEntity = response.getEntity();
                String content = EntityUtils.toString(httpEntity,"utf8");
                System.out.println(content);
            }
            response.close();
            httpClient.close();
        }

### 五、执行结果 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0h1YW5nMTE3ODM4Nzg0OA_size_16_color_FFFFFF_t_70_pic_center]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0h1YW5nMTE3ODM4Nzg0OA_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/a63d215f9a4b40248a8ae24544ce1c2b.png