网络爬虫之网页抓取

逃离我推掉我的手 2022-06-09 11:49 320阅读 0赞

说到网页抓取，往往有两个点是不得不说的，首先是网页编码的识别，另外一个是对网页脚本运行的支持，除此之外，是否支持以POST方式提交请求和支持自动的cookie管理也是很多人所关注的重要方面。其实Java世界里，已经有很多开源的组件来支持各种各样方式的网页抓取了，所以说使用Java做网页抓取还是比较容易的。下面就是我自己做得网页抓取咯!  
思路:1.先获取前端用户输入网页的链接 2.建立网络连接 4.下载源代码(下载时会创建一个临时文件)  
先展示下用户输入的网址：  
![这里写图片描述][SouthEast]  
附上网页源码：

获取网页源码和网页中的图片

![这里写图片描述][SouthEast 1]

java后端代码片段：
    public static String htmlSource(String link,String encoding){
            StringBuilder stringBuilder = new StringBuilder();
            try {
                //获取网络对象
                URL url = new URL(link);
                //建立网络连接
                URLConnection uc = url.openConnection();
                //伪装
                uc.setRequestProperty("User-Agent", "java");
                //下载源代码
                //获取文件输入流
                InputStream inputstream = uc.getInputStream();
                //建立io流的缓冲 提升效率
                InputStreamReader in = new InputStreamReader(inputstream,encoding);
                //下载源代码的缓冲
                BufferedReader reader = new BufferedReader(in);
    
                //开始下载源代码
                //创建一个临时文件
                String line=null;
                while ((line=reader.readLine())!=null) {
                    stringBuilder.append(line+"\r\n");
                }
                //关闭流 先进后出 后进先出
                reader.close();
                in.close();
            } catch (Exception e) {
                //打印堆栈信息
                e.printStackTrace();
            }
            return stringBuilder.toString();
        }
        //
     <%
        //获取url
        String url=request.getParameter("url");
        //获取源代码
        String html = TmDownImgUtil.htmlSource(url,"gbk");
        //将源代码放到页面对象里面
        pageContext.setAttribute("htmlsource", html);
     %>

ps.想要源码的请私聊我

[SouthEast]: /images/20220609/d5827abf8ca14504ace97dec336b5e7a.png
[SouthEast 1]: /images/20220609/f3f389c5ebe845acb08b0cd64330bb3e.png