网络爬虫模拟登陆获取数据并解析实战（二）

淡淡的烟草味﹌ 2022-09-25 10:19 290阅读 0赞

本文为原创博客，仅供学习使用。未经本人允许禁止复制下来，上传到百度文库等平台。

目录

  • 分析要获取的数据
  • 程序的结构
  • 构建封装数据的model
  • 模拟登陆程序并解析数据
  • 结果展示

分析要获取的数据

下面继续实战，写一个模拟登陆获取汽车之家，用户信息的程序。如果大家对模拟登陆获取数据不太了解，建议看完http://blog.csdn.net/qy20115549/article/details/52249232，我写的这篇含有抓包获取人人网数据的案例程序，研究透之后，再来看这个要轻松很多。

首先，大家打开汽车之家这个网站（http://i.autohome.com.cn/7741675/info）看看，能否直接观测到返回的用户信息数据。如下图所示，你会发现，他直接跳转到了登陆界面，并没有返回我们想看到的用户信息数据。

这里写图片描述

为更好的讲解，我注册了一个用户，你会在我的程序中，看到用户名及密码。以下是我们要获取的用户信息。即用户的id，用户名。用户出生日期、用户所在地。为此，我们需要建立封装数据对象的Model。有不明白为什么要建Model的，请看我的这篇博客http://blog.csdn.net/qy20115549/article/details/52203722【基于Java的网络爬虫框架】

这里写图片描述

程序的结构

这里写图片描述

为了简单，本文就没有建框架。程序的目录结果，如上图所示。

构建封装数据的model

以下是我要建的封装数据对象的model，包含要获取的用户ID，用户名，年龄，性别，地域，网站来源，爬该数据的时间点

  1. package renren.renren;
  2. /* * 合肥工业大学 管理学院 qianyang 1563178220@qq.com */
  3. public class UserInfo { 
  4.     private String authorId;
  5.     private String authorname;
  6.     private String age;
  7.     private String gender;
  8.     private String area;
  9.     private String source;
  10.     private String craw_time;
  11.     public String getAuthorId() {
  12.         return authorId;
  13.     }
  14.     public void setAuthorId(String authorId) {
  15.         this.authorId = authorId;
  16.     }
  17.     public String getAuthorname() {
  18.         return authorname;
  19.     }
  20.     public void setAuthorname(String authorname) {
  21.         this.authorname = authorname;
  22.     }
  23.     public String getAge() {
  24.         return age;
  25.     }
  26.     public void setAge(String age) {
  27.         this.age = age;
  28.     }
  29.     public String getGender() {
  30.         return gender;
  31.     }
  32.     public void setGender(String gender) {
  33.         this.gender = gender;
  34.     }
  35.     public String getArea() {
  36.         return area;
  37.     }
  38.     public void setArea(String area) {
  39.         this.area = area;
  40.     }
  41.     public String getSource() {
  42.         return source;
  43.     }
  44.     public void setSource(String source) {
  45.         this.source = source;
  46.     }
  47.     public String getCraw_time() {
  48.         return craw_time;
  49.     }
  50.     public void setCraw_time(String craw_time) {
  51.         this.craw_time = craw_time;
  52.     }
  53. }

模拟登陆程序，并解析数据

为了简单起见，下面，我把模拟登陆获取html文件，解析html文件以及main方法，都放到了一个程序中去了。建议大家还是按照我之前写博客中的框架来写，逻辑比较清晰。下面是我的程序：

  1. package renren.renren;
  3. import java.text.DateFormat;
  4. import java.text.SimpleDateFormat;
  5. import java.util.ArrayList;
  6. import java.util.Date;
  7. import java.util.List;
  8. import org.apache.http.HttpResponse;
  9. import org.apache.http.NameValuePair;
  10. import org.apache.http.client.ResponseHandler;
  11. import org.apache.http.client.entity.UrlEncodedFormEntity;
  12. import org.apache.http.client.methods.HttpPost;
  13. import org.apache.http.impl.client.BasicResponseHandler;
  14. import org.apache.http.impl.client.DefaultHttpClient;
  15. import org.apache.http.message.BasicNameValuePair;
  16. import org.apache.http.protocol.HTTP;
  17. import org.jsoup.Jsoup;
  18. import org.jsoup.nodes.Document;
  19. import org.jsoup.nodes.Element;
  20. import org.jsoup.select.Elements;
  21. /* * 合肥工业大学 管理学院 qianyang 1563178220@qq.com */
  22. public class Autohome1 { 
  24.     private static String AutohomeRenLoginURL = "http://account.autohome.com.cn/Login/ValidIndex";  
  25.     HttpResponse response;  
  26.     private DefaultHttpClient httpclient = new DefaultHttpClient();  
  27.     /* * 这里是模拟登陆的过程 */
  28.     private boolean login() { 
  29.         /* * 用户名及密码 * 在我们抓包的过程中，我们发现我们的密码，被MD5加密了，所以这里有一个将密码，转换成MD5的形式 */
  30.         String userName = "";
  31.         String password = new MD5().GetMD5Code("");  
  32.         HttpPost httpost = new HttpPost(AutohomeRenLoginURL);  
  33.         /* * 建立一个NameValuePair数组，用于存储欲传送的参数 * 不明白这里参数的，请看我前面写的一篇关于模拟登陆网络抓包的的博客 */
  34.         List<NameValuePair> nvps = new ArrayList<NameValuePair>();  
  35.         nvps.add(new BasicNameValuePair("domain", "autohome.com.cn"));  
  36.         nvps.add(new BasicNameValuePair("isauto", "true"));  
  37.         nvps.add(new BasicNameValuePair("method", "post"));  
  38.         nvps.add(new BasicNameValuePair("name", userName));  
  39.         nvps.add(new BasicNameValuePair("pwd", password));  
  40.         try {  
  41.             httpost.setEntity(new UrlEncodedFormEntity(nvps, HTTP.UTF_8));  
  42.             response = httpclient.execute(httpost);  
  43.         } catch (Exception e) {  
  44.             e.printStackTrace();  
  45.             return false;  
  46.         } finally {  
  47.             httpost.abort();  
  48.         }  
  49.         return true;  
  50.     }  
  51.     private String getText(String redirectLocation) {  
  52.         HttpPost httpget = new HttpPost(redirectLocation);  
  53.         ResponseHandler<String> responseHandler = new BasicResponseHandler();  
  54.         String responseBody = "";  
  55.         try {  
  56.             //获取html文件
  57.             responseBody = httpclient.execute(httpget, responseHandler);
  58.         } catch (Exception e) {  
  59.             e.printStackTrace();  
  60.             responseBody = null;  
  61.         } finally {  
  62.             httpget.abort();  
  63.         }  
  64.         return responseBody;  
  65.     }  
  66.     public String printText(String redirectLocation) {
  67.         String htmlText=null;
  68.         if (login()) {  
  69.             if (redirectLocation != null) {
  70.                 htmlText=getText(redirectLocation);
  71.             }  
  72.         } 
  73.         return htmlText;
  74.     }  
  75.     /* * 以下是jsoup解析的过程，有不明白Jsoup的上网搜索其API * */
  76.     public List<UserInfo> parser(String CrawlerUrl) { 
  77.         List<UserInfo> UserInfomation = new ArrayList<UserInfo>();
  78.         Autohome1 autohome = new Autohome1();  
  79.         String htmltext=autohome.printText(CrawlerUrl);
  80.         Document doc = Jsoup.parse(htmltext);
  81.         String authorId="autohome"+doc.select("li[class=current]").select("a").attr("href").replaceAll("\\D","");
  82.         Elements dataElements=doc.select("div[class=uData]").select("p");
  83.         String source="autohome";
  84.         Date date=new Date();
  85.         DateFormat format=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
  86.         String craw_time=format.format(date);
  87.         String area="";
  88.         String username="";
  89.         String gender="";
  90.         String birthday="";
  91.         for (Element ele:dataElements) {
  92.             if (ele.text().contains("所在地")) {
  93.                 area=ele.text().replaceAll(Jsoup.parse(" ").text(), " ").split(":")[1];
  94.                 //System.out.println("area:"+area);
  95.             }
  96.             if (ele.text().contains("性别")) {
  97.                 gender=ele.text().replaceAll(Jsoup.parse(" ").text(), "").split(":")[1];
  98.                 //System.out.println("gender:"+gender);
  99.             }
  100.             if (ele.text().contains("生日")) {
  101.                 birthday=ele.text().replaceAll(Jsoup.parse(" ").text(), "").split(":")[1];
  102.                 //System.out.println("birthday:"+birthday);
  103.             }
  104.             if (ele.text().contains("用户名")) {
  105.                 username=ele.text().replaceAll(Jsoup.parse(" ").text(), "").split(":")[1];
  106.                 //System.out.println("birthday:"+username);
  107.             }
  109.         }
  110.         /* * 将数据封装在集合中，返回 */
  111.         UserInfo Info = new UserInfo();
  112.         Info.setAuthorId(authorId);
  113.         Info.setAuthorname(username);
  114.         Info.setAge(birthday);
  115.         Info.setGender(gender);
  116.         Info.setArea(area);
  117.         Info.setSource(source);
  118.         Info.setCraw_time(craw_time);
  119.         UserInfomation.add(Info);
  120.         return UserInfomation;
  121.     }  
  122.     public static void main(String[] args){
  123.         Autohome1 AutoHome = new Autohome1(); 
  124.         /*需要获取网页的地址*/
  125.         String url="http://i.autohome.com.cn/7741675/info";
  126.         /*获取数据，解析数据，返回解析之后的数据*/
  127.         List<UserInfo> authorInfo=AutoHome.parser(url);
  128.         /*打印数据在控制台，这里可以按照前面博客的方法，写入数据库*/
  129.         for (UserInfo userinfo:authorInfo) {
  130.             System.out.println("ID: "+userinfo.getAuthorId()+" Age: "+userinfo.getAge()+" +Area: "+userinfo.getArea());
  131.         }
  132.     }
  133. }

上述程序调用了一个MD5加密的程序，下面是MD5的程序。

  1. package renren.renren;
  2. import java.security.MessageDigest;
  3. import java.security.NoSuchAlgorithmException;
  4. /* * 合肥工业大学 管理学院 qianyang 1563178220@qq.com */
  5. public class MD5 { 
  6.      // 全局数组
  7.     private final static String[] strDigits = { "0", "1", "2", "3", "4", "5",
  8.             "6", "7", "8", "9", "a", "b", "c", "d", "e", "f" };
  9.     public MD5() {
  10.     }
  11.     // 返回形式为数字跟字符串
  12.     private static String byteToArrayString(byte bByte) {
  13.         int iRet = bByte;
  14.         // System.out.println("iRet="+iRet);
  15.         if (iRet < 0) {
  16.             iRet += 256;
  17.         }
  18.         int iD1 = iRet / 16;
  19.         int iD2 = iRet % 16;
  20.         return strDigits[iD1] + strDigits[iD2];
  21.     }
  23.     // 返回形式只为数字
  24.     private static String byteToNum(byte bByte) {
  25.         int iRet = bByte;
  26.         System.out.println("iRet1=" + iRet);
  27.         if (iRet < 0) {
  28.             iRet += 256;
  29.         }
  30.         return String.valueOf(iRet);
  31.     }
  33.     // 转换字节数组为16进制字串
  34.     private static String byteToString(byte[] bByte) {
  35.         StringBuffer sBuffer = new StringBuffer();
  36.         for (int i = 0; i < bByte.length; i++) {
  37.             sBuffer.append(byteToArrayString(bByte[i]));
  38.         }
  39.         return sBuffer.toString();
  40.     }
  42.     public static String GetMD5Code(String strObj) {
  43.         String resultString = null;
  44.         try {
  45.             resultString = new String(strObj);
  46.             MessageDigest md = MessageDigest.getInstance("MD5");
  47.             // md.digest() 该函数返回值为存放哈希值结果的byte数组
  48.             resultString = byteToString(md.digest(strObj.getBytes()));
  49.         } catch (NoSuchAlgorithmException ex) {
  50.             ex.printStackTrace();
  51.         }
  52.         return resultString;
  53.     }
  54. }

结果展示

这里写图片描述

本文作者：合肥工业大学 管理学院 钱洋
有不明白，请发邮件1563178220@qq.com

发表评论

表情：
评论列表 （有 0 条评论，290人围观）

还没有评论，来说两句吧...

相关阅读