使用jsoup简单实现爬虫

骑猪看日落 2023-08-17 15:38 175阅读 0赞

此为jsoup官网地址：[https://jsoup.org/][https_jsoup.org]

从官网下载jar包后 导入eclipse

package cn.zsyy.spider;
    
    import java.io.IOException;
    import java.util.HashMap;
    import java.util.regex.Matcher;
    import java.util.regex.Pattern;
    
    import org.jsoup.Connection;
    import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import org.jsoup.nodes.Element;
    import org.jsoup.select.Elements;
    
    import cn.zsyy.db.Dao;
    
    
    public class Article {
    	static String yyxwurl = "需要爬取的网站";
    	static String host = "网站根目录";
    	
    	static void innit() throws IOException{
    		
    		Document document = Jsoup.connect(yyxwurl).get();
    	}
    	
    	static void getlistUrL(String nextUrl) throws IOException{
    		String url = nextUrl;
    		Document document = Jsoup.connect(url).get(); 
    		Element first = document.select(".next").first();
    		if (!first.equals("javascript:void(0);")) {
    			String nextpageUrl = first.attr("href");
    			getAritcleUrl(nextpageUrl);
    			getlistUrL(nextpageUrl);
    		}
    		
    	}
    	
    	static void getAritcleUrl(String url) throws IOException {
    		Document document = Jsoup.connect(url).get();
    		HashMap<String, Object> article = new HashMap<String, Object>();
    	
    		Elements list = document.select(".list_box ul li");
    		
    		for (Element element : list) {
    			Elements select = element.select("a");
    			String attr = select.attr("href");
    			//System.out.println(attr);
    			getContext(attr);
    		}
    		
    		
    	}
    	
    	static void getContext(String url) throws IOException {
    		String articleUrl = host+url;
    		Document document = Jsoup.connect(articleUrl).get();
    		String title = document.select(".art_box_c h1").first().text();
    
    		Pattern compile = Pattern.compile(".*?：(.*?)　　");
    		String author = document.select(".remark").first().text();
    		Matcher matcher = compile.matcher(author);
    		if (matcher.find()) {
    			author = matcher.group(1);
    			
    		}
    		//System.out.println(author);
    		
    		String html = document.select(".art_con").first().html();
    		//System.out.println(html);
    		
    		HashMap<String,Object> hashMap = new HashMap<String, Object>();
    		hashMap.put("title", title);
    		hashMap.put("author", author);
    		hashMap.put("content", html);
    		
    		int insertObj = Dao.insertObj("article", hashMap);
    		
    		
    	}
    	
    	public static void main(String[] args) throws IOException {
    		getAritcleUrl(yyxwurl);
    		 getlistUrL(yyxwurl);
    		
    		 
    	}
    
    }

具体内容根据所需要的爬取的网站进行爬取

总结：

1/分析网站  
                1）想要获取什么数据  
                2）数据在什么页面上  
                3）如何这些页面的地址  
            2/获取1个页面的数据  
                1）通过选择器选中包含数据的元素  
                2）获取元素的文本/属性/html  
                3) 将数据存放至数据库  
            3/获取列表页的数据  
                1）通过选择器选中包含数据的元素  
                2）获取元素的文本/属性/html  
            4/获取下一页的地址  
            重复爬取相对应的数据即可

[https_jsoup.org]: https://jsoup.org/