爬虫Jsoup

旧城等待， 2021-10-06 03:06 714阅读 0赞

爬虫Jsoup

  • 简介
  • 导入jar
  • 简单示例

简介

Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

导入jar

下载地址： https://pan.baidu.com/s/1vKS3WmcvgS5Ul9DUbLIA7Q 提取码：cpuf

  1. <dependency>
  2.     <groupId>org.jsoup</groupId>
  3.     <artifactId>jsoup</artifactId>
  4.     <version>1.8.3</version>
  5. </dependency>

简单示例

  1. /**
  2.  * 
  3.  * 抓取博客链接
  4.  * 
  5.  * @author vander
  6.  * @date 2018年12月25日
  7.  */
  8. public class JsoupTest {
  10.     private String Agent = "Mozilla/5.0 (Windows NT 6.1;WOW64; rv:42.0) Gecko/20100101 Firefox/42.0";
  12.     @Test
  13.     public void testPLXC() throws Exception {
  14.         String startPage = "https://blog.csdn.net/qq_15764943/article/list/1";
  15.         Document document = Jsoup.connect(startPage).userAgent(Agent).get();
  16.         Elements select = document.getElementsByClass("article-item-box");
  17.         for (Element element : select) {
  18.             Elements a = element.getElementsByTag("h4").get(0).getElementsByTag("a");
  19.             String url = a.get(0).text();
  20.             System.out.println("博客名称:" + url);
  21.             System.out.println("博客链接:" + a.attr("href"));
  22.         }
  23.     }
  25. }

发表评论

表情：
评论列表 （有 0 条评论，714人围观）

还没有评论，来说两句吧...

相关阅读

    相关 java爬虫-jsoup

    文章目录 内容简介 主要功能 内容简介 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供

    男娘i男娘i/ 0 赞/ 350 阅读

    相关 Jsoup+HtmlUnit 爬虫

    最近学习java的爬虫，爬取双色球网站的内容，刚开始只用了Jsoup，可以爬取到全部的内容，还以为自己的爬虫技术OK了；结果双色球网站更新了，就爬取不到了，只能继续学习； 因

    ゞ 浴缸里的玫瑰ゞ 浴缸里的玫瑰/ 0 赞/ 377 阅读

    相关 爬虫Jsoup

    爬虫Jsoup 简介 导入jar 简单示例 简介 Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提

    旧城等待，旧城等待，/ 0 赞/ 715 阅读