使用java+WebMagic实现电影资源链接爬取

野性酷女 2022-02-13 13:50 375阅读 0赞

1、首先百度搜索webmagic网站，网址如下：[https://github.com/code4craft/webmagic/releases/tag/WebMagic-0.7.3][https_github.com_code4craft_webmagic_releases_tag_WebMagic-0.7.3]

2、接下来下载[webmagic-0.7.3-all.tar.gz 压缩包解压][webmagic-0.7.3-all.tar.gz]

3、创建一个项目，在项目中创建一个lib文件夹，将WebMagic中的jar包复制到lib文件夹里面，选取所有的jar包（按下shift可以全选），右键->build path,然后创建一个class 文件，具体执行代码如下：

package test20190428;
    
    
    import java.util.ArrayList;
    import java.util.Iterator;
    import java.util.List;
    import java.util.Set;
    import java.util.TreeSet;
    
    import us.codecraft.webmagic.Page;
    import us.codecraft.webmagic.Site;
    import us.codecraft.webmagic.Spider;
    import us.codecraft.webmagic.processor.PageProcessor;
    
    /*
     * 使用WebMagic，不要忘记导包：最新版：WebMagic-0.7.3
     * test:爬取最大资源网中所有电影网址
     * */
    public class MovieProcessor implements PageProcessor{
    	
    	private static int count=1;
    	
    	@Override
    	public Site getSite() {
    		// TODO Auto-generated method stub
    		Site site = Site.me();
    		site.setTimeOut(3000);
    		site.setRetrySleepTime(3);
    		site.setSleepTime(1000);
    		return site;
    	}
    
    	@Override
    	public void process(Page page) {
    		// TODO Auto-generated method stub
    		//当count=1时，进入第一层，获取网站一共多少页,获取列表页
    		if(count==1)
    		{		
    			String pagenumber = page.getHtml().regex("1/\\d+页").get();
    			//将页数进行截取
    			String pagenum=pagenumber.substring(2,pagenumber.length()-1);
    			//截取后将pagenum字符串转换为int,然后遍历所有的页数
    			//Integer.parseInt(pagenum)
    			for(int i=2;i<=Integer.parseInt(pagenum);i++)
    			{
    				//http://zuidazy.net/?m=vod-index-pg-511.html
    				//url进行拼接
    				String url="http://zuidazy.net/?m=vod-index-pg-"+i+".html";
    				//将url
    	            page.addTargetRequest(url);
    			}
    			count++;
    		}
    		
    		//进入第二层,获取每个列表的详情页面链接
    		if(count==2)
    		{
    			///?m=vod-detail-id-47219.html
    			//xpath://input[@name='copy_sel']/@value
    			List <String> all1=page.getHtml().regex("/?m=vod-detail-id-\\d+.html").all();
    			Set set = new TreeSet();
    			set.addAll(all1);
    			Iterator<String> iterator = all1.iterator();
    			while(iterator.hasNext())
    			{
    				String url2="http://zuidazy.net/?"+iterator.next();
    				 page.addTargetRequest(url2);
    			}
    			count++;
    		}
    		
    		//进入每部电影界面，获取所有电影网址
    		if(count==3)
    		{
    			//获取标题，之后截取标题
    			List <String> all2 = page.getHtml().xpath("//h2").all();
    			//获取每部电视剧的链接
    			List <String> all3 = page.getHtml().xpath("//input[@name='copy_sel']/@value").all();
    			for(int i=0;i<all2.size();i++)
    			{
    				//截取标题
    				System.out.println(all2.get(i).substring(4, all2.get(i).length()-5));
    				//使用list列表存放
    				List<String> list=new ArrayList<String>();
    				list.add(all2.get(i).substring(4, all2.get(i).length()-5));
    			}
    			
    			for(int j = 0 ; j < all3.size() ; j++) {
    				  System.out.println(all3.get(j));
    			}
    		}
    		
    	}	
    	
    	public static void main(String[] args) {
    		// TODO Auto-generated method stub
    		MovieProcessor mp = new MovieProcessor();
    		Spider create=Spider.create(mp);
    		create.addUrl("http://zuidazy.net/?m=vod-index.html");
    		create.thread(5);
    		create.run();
    	}
    
    }

运行结果：

![20190428192235799.png][]

[https_github.com_code4craft_webmagic_releases_tag_WebMagic-0.7.3]: https://github.com/code4craft/webmagic/releases/tag/WebMagic-0.7.3
[webmagic-0.7.3-all.tar.gz]: https://github.com/code4craft/webmagic/releases/download/WebMagic-0.7.3/webmagic-0.7.3-all.tar.gz
[20190428192235799.png]: /images/20220213/24ae0f05158249a38bc203743b299c01.png