jsoup教程_3 Jsoup 讲解

￡神魔★判官ぃ 2023-01-08 03:25 303阅读 0赞

项目源代码 https://gitee.com/fakerlove/jsoup

文章目录

    1. Jsoup 讲解
    • 3.1 解析Url
      • 引入依赖
      • 测试
    • 3.2 解析字符串
    • 3.3 解析文件
    • 3.4 使用dom 方式解析

3. Jsoup 讲解

3.1 解析Url

引入依赖

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  3.     <modelVersion>4.0.0</modelVersion>
  5.     <groupId>org.example</groupId>
  6.     <artifactId>httpclient-demo</artifactId>
  7.     <version>1.0-SNAPSHOT</version>
  9.     <properties>
  10.         <maven.compiler.source>11</maven.compiler.source>
  11.         <maven.compiler.target>11</maven.compiler.target>
  12.     </properties>
  14.     <dependencies>
  15.         <!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient -->
  16.         <dependency>
  17.             <groupId>org.apache.httpcomponents</groupId>
  18.             <artifactId>httpclient</artifactId>
  19.             <version>4.5.13</version>
  20.         </dependency>
  22.         <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
  23.         <dependency>
  24.             <groupId>org.jsoup</groupId>
  25.             <artifactId>jsoup</artifactId>
  26.             <version>1.13.1</version>
  27.         </dependency>
  29.         <!-- https://mvnrepository.com/artifact/commons-io/commons-io -->
  30.         <dependency>
  31.             <groupId>commons-io</groupId>
  32.             <artifactId>commons-io</artifactId>
  33.             <version>2.8.0</version>
  34.         </dependency>
  36.         <!-- https://mvnrepository.com/artifact/junit/junit -->
  37.         <dependency>
  38.             <groupId>junit</groupId>
  39.             <artifactId>junit</artifactId>
  40.             <version>4.13.1</version>
  41.             <scope>test</scope>
  42.         </dependency>
  44.         <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-lang3 -->
  45.         <dependency>
  46.             <groupId>org.apache.commons</groupId>
  47.             <artifactId>commons-lang3</artifactId>
  48.             <version>3.11</version>
  49.         </dependency>
  50.     </dependencies>
  52. </project>

测试

  1. package com.ak.mytest;
  3. import org.jsoup.Jsoup;
  4. import org.jsoup.nodes.Document;
  5. import org.junit.Test;
  7. import java.io.IOException;
  8. import java.net.URL;
  10. public class MyTest { 
  13.     @Test
  14.     public void Url(){ 
  15.         // 解析url 地址，第一个是url,第二个是 连接超时时间
  16.         try { 
  18.             Document document=Jsoup.parse(new URL("https://movie.douban.com/chart"),5000);
  19.             String title = document.getElementsByTag("title").first().text();
  20.            System.out.println(title);
  22.         } catch (IOException e) { 
  23.             e.printStackTrace();
  24.         }
  26.     }
  27. }

结果

image-20210116213657069

3.2 解析字符串

  1. package com.ak.utils;
  3. import org.apache.http.client.config.RequestConfig;
  4. import org.apache.http.client.methods.CloseableHttpResponse;
  5. import org.apache.http.client.methods.HttpGet;
  6. import org.apache.http.impl.client.CloseableHttpClient;
  7. import org.apache.http.impl.client.HttpClients;
  8. import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
  9. import org.apache.http.util.EntityUtils;
  11. import java.io.IOException;
  12. import java.util.ArrayList;
  13. import java.util.Random;
  15. public class HttpUtils { 
  17.     public static PoolingHttpClientConnectionManager cm;
  18.     public static ArrayList<String> agents;
  20.     static  { 
  21.         // 创建连接池管理器
  22.         cm = new PoolingHttpClientConnectionManager();
  23.         // 设置连接数
  24.         cm.setMaxTotal(100);
  25.         // 设置每个主机（理解为网站，如：百度10个、网易10个）的最大连接数
  26.         cm.setDefaultMaxPerRoute(10);
  28.         //初始化 User-Agent 信息
  29.         agents = new ArrayList<String>();
  30.         // 添加 User-Agent 信息
  31.         agents.add("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36");
  32.         agents.add("Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50");
  33.         agents.add("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0");
  34.         agents.add("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2");
  35.         agents.add("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36");
  36.         agents.add("Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11");
  37.         agents.add("Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16");
  38.         agents.add("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36");
  39.         agents.add("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER");
  40.         agents.add("Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0");
  41.         agents.add("Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0");
  42.         agents.add("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36");
  43.         System.out.println("<--------- HttpUtils initialization success --------->");
  44.     }
  47.     /** * 获取页面源代码 * * @param url 网页链接 * @return 页面源代码 */
  48.     public static String doGetHtml(String url) { 
  49.         // 通过连接池获取 httpClient
  50.         CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build();
  52.         HttpGet httpGet = new HttpGet(url);
  54.         // 伪造 User-Agent（反反爬虫）
  55.         // 生成一个范围在 0-x（不包含x）内的任意正整数
  56.         int agentNum = new Random().nextInt(agents.size());
  58.         httpGet.addHeader("User-Agent", agents.get(agentNum));
  60.         // 设置请求信息
  61.         httpGet.setConfig(getConfig());
  63.         // 定义 response，方便 finally 中关闭
  64.         CloseableHttpResponse response = null;
  65.         try { 
  66.             response = httpClient.execute(httpGet);
  67.             // 获取并判断，状态码是否正常（正常值：200）
  68.             if (response.getStatusLine().getStatusCode() == 200) { 
  69.                 // 判断响应体是否为空，不为空则获取内容
  70.                 if (response.getEntity() != null) { 
  71.                     // 获取响应体，并指定 UTF-8 编码
  72.                     String content = EntityUtils.toString(response.getEntity(), "utf8");
  74.                     return content;
  75.                 }
  76.             }
  77.         } catch (IOException e) { 
  78.             e.printStackTrace();
  79.         } finally { 
  80.             // 判断并关闭 response
  81.             if (response != null) { 
  82.                 try { 
  83.                     response.close();
  84.                 } catch (IOException e) { 
  85.                     e.printStackTrace();
  86.                 }
  87.             }
  88.             // 不关闭 httpClient，交给连接池管理
  89.         }
  90.         System.out.println("<--------- doGetHtml() ERROR --------->");
  91.         return "";
  92.     }
  94.     public static RequestConfig getConfig() { 
  96.         RequestConfig config = RequestConfig.custom()
  97.                 // 创建连接的最长时间
  98.                 .setConnectTimeout(1000)
  99.                 // 获取连接最长时间
  100.                 .setConnectionRequestTimeout(1000)
  101.                 // 数据传输最长时间
  102.                 .setSocketTimeout(10 * 1000)
  103.                 .build();
  104.         return config;
  105.     }
  106. }

测试

  1. @Test
  2.     public void testString(){ 
  3.         // 获取字符串
  4.         String content= HttpUtils.doGetHtml("https://www.baidu.com");
  5.         // 转移成decument 文件
  6.         Document parse = Jsoup.parse(content);
  7.         String title = parse.getElementsByTag("title").first().text();
  8.         System.out.println(title);
  10.     }

结果

image-20210116214447584

3.3 解析文件

  1. @Test
  2.     public  void testFile() throws IOException { 
  3.         Document parse = Jsoup.parse(new File("C:\\Users\\bn\\Desktop\\豆瓣.html"), "utf-8");
  4.         String title = parse.getElementsByTag("title").first().text();
  5.         System.out.println(title);
  7.     }

结果

image-20210116214921614

3.4 使用dom 方式解析

  1. @Test
  2.     public void testDom(){ 
  3.         // 解析url 地址，第一个是url,第二个是 连接超时时间
  4.         try { 
  6.             Document document=Jsoup.parse(new URL("https://movie.douban.com/chart"),5000);
  7.             // 第一个是 tag
  8.             String title = document.getElementsByTag("title").first().text();
  9.             // 第二个是class
  10.             Elements nbg = document.getElementsByClass("pl");
  11.             for (Element element : nbg){ 
  12.                 System.out.println(element.text());
  13.             }
  15.             // 第三个是
  16.             Element content = document.getElementById("content");
  17.             System.out.println(content.text().length());
  18.             System.out.println(title);
  20.         } catch (IOException e) { 
  21.             e.printStackTrace();
  22.         }
  23.     }

结果

image-20210116215703517

发表评论

表情：
评论列表 （有 0 条评论，303人围观）

还没有评论，来说两句吧...

相关阅读

    相关 jsoup教程_1 简介

    1.1 jsoup 概念 > jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API， > > 可通过D

    蔚落蔚落/ 0 赞/ 362 阅读

    相关 jsoup

    jsoup 是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQu

    桃扇骨桃扇骨/ 0 赞/ 253 阅读

    相关 jsoup

    一、Jsoup概述 1.1、简介     jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，

    ゝ一纸荒年。ゝ一纸荒年。/ 0 赞/ 345 阅读

    相关 爬虫Jsoup

    爬虫Jsoup 简介 导入jar 简单示例 简介 Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提

    旧城等待，旧城等待，/ 0 赞/ 699 阅读