java爬虫框架Webcontroller

蔚落 2022-04-13 06:22 342阅读 0赞

git地址：[https://github.com/CrawlScript/WebCollector][https_github.com_CrawlScript_WebCollector]

业务需要爬取一个网站所有手机信息 ，最开始用了crawler4j这个框架，挺简单的，但是发现不能满足我的需求；只支持单页面信息抓取，但是我是要多页面抓取；需要在一级页面抓取到所有的二级页面的链接，再加入所有二级页面的链接，进行抓取所有三级页面的信息；后来改成了webcontroller，发现可以实现我的需求：

爬虫原理就是抓取到页面(page)的所有信息，输出为一个html，然后用jsoup去解析这个html，根据id、class等定位到对应的页面元素，然后进行取值。

注意事项：这个框架有个回滚机制，如果在添加一条数据的时候，里面有一个地方报异常的，这一整条数据都不会添加，所以为了数据全量，一定要先把控制台输出的代码异常全部解决！

一般情况是 Elements 为空缺去取数据导致报异常，一般是判断  elements != null && elements .size()>0

上代码：（`www.***.cn改成自己要抓取的网址`）

import cn.edu.hfut.dmic.webcollector.model.CrawlDatums;
    import cn.edu.hfut.dmic.webcollector.model.Page;
    import cn.edu.hfut.dmic.webcollector.plugin.berkeley.BreadthCrawler;
    import org.jsoup.nodes.Document;
    import org.jsoup.nodes.Element;
    import org.jsoup.select.Elements;
    
    import java.util.ArrayList;
    import java.util.List;
    
    /**
     * Crawling news from github news
     *
     * @author hu
     */
    public class DemoAutoNewsCrawler extends BreadthCrawler {
    
        static int grade = 1;//爬虫的深度,第一次为1
    
        static List<String> list = new ArrayList<String>();//url种子
    
        /**
         * @param crawlPath crawlPath is the path of the directory which maintains
         *                  information of this crawler
         * @param autoParse if autoParse is true,BreadthCrawler will auto extract
         *                  links which match regex rules from pag
         */
        public DemoAutoNewsCrawler(String crawlPath, boolean autoParse) {
            super(crawlPath, autoParse);
            /*start pages*/
            this.addSeed("http://www.***.cn/cell_phone_index/subcate57_list_1.html");
            //循环添加所有链接
    //        for(int pageIndex = 1; pageIndex <= 1; pageIndex++) {
    //            String seedUrl = String.format("https://list.jd.com/list.html?cat=9987,653,655&page=1&sort=sort_rank_asc&trans=1&JL=6_0_0#J_main", pageIndex);
    //            this.addSeed(seedUrl);
    //        }
            setThreads(1);
            getConf().setTopN(100);
            
        }
    
        public void visit(Page page, CrawlDatums next) {
            String url = page.url();
            /*if page is news page*/
            if (page.matchUrl("http://www.***.cn/.*")) { // .*代表后面匹配所有
               Document doc =  page.doc();
               //爬虫的深度为1
               if(grade == 1){
                   Element element = doc.getElementById("J_PicMode");
                   Elements elements = element.getAllElements();
                   for (Element el: elements) {
                       Elements e = el.getElementsByClass("pic");
                       for (Element e1: e) {
                           String s = el.children().attr("href");
                           if(s != null && !"".equals(s)){
                               list.add(el.children().attr("href"));//加入第二级链接
                           }
                           System.out.println(el.children().attr("href"));
                       }
                   }
               }
               //爬虫的深度为2
               else if(grade == 2){
                   Elements e = doc.getElementsByClass("_j_MP_more section-more");
                   for (Element e1: e) {
                       String s = e.attr("href");
                       if(s != null && !"".equals(s)){
                           list.add(e.attr("href"));//加入第三级链接
                       }
                   }
               }else if(grade == 3){
                   Elements e1 = doc.getElementsByClass("product-model__name");
                   for (Element e: e1) {
                       System.out.println("手机型号:" + e1.text());
                   }
                   if (doc.select("#newPmVal_0") != null) {
                       System.out.println("上市日期:" + doc.select("#newPmVal_0").get(0).text());
                   }
               }
            }
        }
    
        public static void main(String[] args) throws Exception {
            DemoAutoNewsCrawler crawler = new DemoAutoNewsCrawler("crawl", true);
            /*start crawl with depth of 4*/
            crawler.start(4);
            System.out.println("爬虫深度:" + grade);
            System.out.println("种子大小:"+list.size());
            System.out.println("第一次执行完毕===============================");
            //提升深度
            grade++;
            for(int pageIndex = 1; pageIndex <= 2; pageIndex++) {
                System.out.println("加入的子链接:" + list.get(pageIndex-1));
                String seedUrl = String.format("http://www.***.cn"+list.get(pageIndex-1), pageIndex);
                crawler.addSeed(seedUrl);
            }
            //子链接加入完毕之后清空list
            list.clear();
            //第二次执行
            crawler.start(4);
            System.out.println("爬虫深度:" + grade);
            System.out.println("种子大小:"+list.size());
            System.out.println("第二次执行完毕===============================");
            //提升深度
            grade++;
            for(int pageIndex = 1; pageIndex <= 2; pageIndex++) {
                System.out.println("加入的子链接:" + list.get(pageIndex-1));
                String seedUrl = String.format("http://www.***.cn"+list.get(pageIndex-1), pageIndex);
                crawler.addSeed(seedUrl);
            }
            //第三次执行
            crawler.start(4);
            System.out.println("爬虫深度:" + grade);
            System.out.println("种子大小:"+list.size());
            System.out.println("第三次执行完毕===============================");
        }
    
    }

使用的maven，pom.xml依赖：

<dependencies>
        <dependency>
            <groupId>cn.edu.hfut.dmic.webcollector</groupId>
            <artifactId>WebCollector</artifactId>
            <version>2.73-alpha</version>
        </dependency>
    
        <dependency>
            <groupId>org.jsoup</groupId>  
            <artifactId>jsoup</artifactId>
            <version>1.11.3</version>
        </dependency>
    </dependencies>

注意事项：

页面上有些元素是 <a class="a b"> class中间是用空格隔开的，如果我们要取它们，则需要：

doc.select(".a.b") 或者doc.select(".a .b")中间也用空格，才能取到！

[https_github.com_CrawlScript_WebCollector]: https://github.com/CrawlScript/WebCollector