通过Java中的URL类进行简单的网络资源的爬取

骑猪看日落 2022-04-04 14:27 202阅读 0赞

一、先说一下URL类的构造方法可以通过两种路径，1）绝对经构建，2）相对路径构建。

我这里用绝对路径来进行构建：加入构造方法的字符串的各部分的含义直接用代码体现了。

package cn.skh.url01;
    import java.net.MalformedURLException;
    import java.net.URL;
    public class TestUrl {
    	public static void main(String[] args) throws MalformedURLException {
    		//绝对路径构建
    		URL url=new URL("http://www.baidu.com:80/index.html#aa?uname=skh");
            System.out.println("协议"+url.getProtocol());
            System.out.println("域名"+url.getHost());
            System.out.println("端口"+url.getPort());
            System.out.println("资源"+url.getFile());
    		System.out.println("相对路径"+url.getPath());
    		System.out.println("锚点"+url.getRef());
    		System.out.println("参数"+url.getQuery());//?之后的为参数。如果存在锚点的话返回null，否则返回true；
    	}
    
    }

输出：这需要注意的是如果存在锚点则不会有参数的存在，因为IDE会把他默认为锚点的一部分，在这里我添加了锚点，所以返回了一个null；

端口80
    资源/index.html
    相对路径/index.html
    锚点aa?uname=skh
    参数null

二、爬取资源：

在这里用了百度来测试：最好使用BufferedReader和BufferedWriter来进行读写，可以方便的转化编码格式；

package cn.skh.url01;
    import java.io.BufferedReader;
    import java.io.BufferedWriter;
    import java.io.FileOutputStream;
    import java.io.IOException;
    import java.io.InputStream;
    import java.io.InputStreamReader;
    import java.io.OutputStreamWriter;
    import java.net.MalformedURLException;
    import java.net.URL;
    /**
     * 获取源代码
     * @author SKH&L
     *
     */
    public class TestURL02 {
         public static void main(String[] args) throws IOException {
        	 URL url=new URL("http://www.baidu.com");//主页为默认资源，不写资源默认访问首页
        	 //转化流；
        	 BufferedReader br=new BufferedReader(new InputStreamReader(url.openStream(),"utf-8"));
        	 BufferedWriter bw=new BufferedWriter(new OutputStreamWriter(new FileOutputStream("baidu.html"),"utf-8"));
        	 String str=null;
        	 while((str=br.readLine())!=null) {
        		// System.out.println(str);
        		 bw.append(str);
        		 bw.newLine();
        	 }
        	 bw.flush();
        	 bw.close();
            br.close();
         }
    }