数据抓包(网络爬虫)-正方教务管理系统登录

旧城等待， 2022-06-16 13:47 360阅读 0赞

本文是基于[Java ][Java]EE6.0 + HttpClient + fiddler为基础的。

最近在学jsp，闲来无事，做点东西锻炼锻炼，也可以学习学习，想学习数据抓包。第一印象就是我们学校的正方教务管理系统，先拿它开涮。

好，我们现在进入正题，我这边是jsp的网页，所以jsp的环境配置我不说了，就着重讲一下这个抓包需要的工具吧：[Fiddler][]，当然我这里还有jsp用到的[HttpClient-jar包][HttpClient-jar]。

我就简单说明一下我们抓包需要用的功能：

1、当访问记录过多时，如何清除访问记录。![Center][]

2、如何管理监控的软件（默认浏览器是加入监控的，即浏览器访问Internet会被记录）![Center 1][]

3、查看请求数据方式（1-鼠标拖拽请求网址，多用于GET请求）![Center 2][]

4、查看请求数据方式（2-选择Inspectors，多用于POST请求）![Center 3][]

了解了基本功能，我们现在去我们教务管理系统试试吧

首先，我们清空访问记录，访问一下我们学校[(四川理工学院)的教务管理系统][Link 1]，看看有什么结果（这里我是吧cookie删除了访问的）。

![Center 4][]

我们获取到的cookie是：**Set-Cookie: ASP.NET\_SessionId=m5ys1p55i3ffk145s2u5twib; path=/**

接着我们第二次访问![Center 5][]

我们发现第二次的请求中的cookie正好是第一次(删除了cookie访问)接收的cookie，这对于我们理解登录过程是很有用的。

好的，接着我们尝试登录教务管理系统，登录成功后，我们看看什么样的数据包

我们看登录请求的头部信息：![Center 6][]

似乎没有找到我们的用户名，密码，验证码信息，不着急，我们说过post提交的，我们可以通过webforms来查看：![Center 7][]

我们发现了，原来登录教务管理系统是发送几个参数，配备一些请求信息来实现的，

但是关于这些参数，我们有几个疑问：这个

<table> 
 <tbody> 
  <tr> 
   <td> <p><strong>__VIEWSTATE</strong></p> </td> 
   <td> <p><strong>dDwyODE2NTM0OTg7Oz5Xow52LfADXBpsau1uxa8+qTHKbQ==</strong></p> </td> 
  </tr> 
 </tbody> 
</table>

是什么意思？怎样获得？还有就是验证码的问题，怎么获取验证码？

带着这个问题，我们去看看我们教务管理系统首页的源代码：

![Center 8][]

好的，我们在源代码中找到了需要的**\_\_VIEWSTATE**参数。

接下来是验证码，为了不拐弯抹角，我将自己吸取的教训直接转换为方法，教大家这个验证码的获取：![Center 9][]

在教务管理系统首页的源代码中我们找到了验证码的获取网址，我们再去看fiddler中的这个网址：![Center 10][]

在此说明我学习的成果：**获取验证码是要带着cookie获取的，如果直接访问验证码图片网址可以获取到图片，但是没有任何作用，所以在模拟登录过程中一定要带着cookie一起访问，这个cookie就是登录时候用的cookie，你可以监视“点击看不清换一张”这个请求过程。**

搞清楚登录原理之后我们就可以模拟登录过程了。

流程如下：

1、模拟访问(模拟无cookie的访问)首页的过程。

2、获取到**响应的头部信息，** 将获取到的cookie记录下来，后面会用到。获取源代码中的VIEWSTATE并且记录下来，后面也要用。

<table> 
 <tbody> 
  <tr> 
   <td> <p><strong>__VIEWSTATE</strong></p> </td> 
   <td> <p><strong>dDwyODE2NTM0OTg7Oz5Xow52LfADXBpsau1uxa8+qTHKbQ==</strong></p> </td> 
  </tr> 
 </tbody> 
</table>

3、将获取到的cookie添加的新的请求头部，用于获取验证码，将验证码添加显示出来(后面会讲一个自动识别验证码的功能代码)。

4、将必要的参数封装到请求中，模拟登录请求。

[完整工程的源代码][Link 2]

效果截图：

![Center 11][]

点击登录按钮之后

![Center 12][]

后面有时间再讲教大家获取课程表的信息，今天就到这儿了哈，有问题的可以联系我的ＱＱ：９１７３８８９７０我们一起探讨嘛。

[Java]: http://lib.csdn.net/base/java
[Fiddler]: http://pan.baidu.com/s/1o7PvZC2
[HttpClient-jar]: http://pan.baidu.com/s/1geIiLgB
[Center]: /images/20220616/c0483c10e52f4cdeb23e29c278ff39ab.png
[Center 1]: /images/20220616/4b3c09302f254ec996b733bf762d8840.png
[Center 2]: /images/20220616/754fb5c65802452492136a0c7e8370d9.png
[Center 3]: /images/20220616/da47b75fcfef40e680441d7483db80bc.png
[Link 1]: http://61.139.105.138/default2.aspx
[Center 4]: /images/20220616/6c8af3b5a471487b82875b2f07cd938c.png
[Center 5]: /images/20220616/5923f60bc9924414bbaed2ba2cc7ce43.png
[Center 6]: /images/20220616/1d410d2b08fb48028e8ca1702b1d9dc9.png
[Center 7]: /images/20220616/b4a7138ebe3547ff9d7aa9a80a7bac28.png
[Center 8]: /images/20220616/ded88cce43ba48a8821352eb73155039.png
[Center 9]: /images/20220616/46ab56361a054db9ac7b072fe02f9766.png
[Center 10]: /images/20220616/e9e32b9c2e834b3bb4798d5e8fa5b921.png
[Link 2]: http://pan.baidu.com/s/1cv85tk
[Center 11]: /images/20220616/72bfd72f1a7647b2b8b3126f0dc9cfd4.png
[Center 12]: /images/20220616/b835400ba1234a3c8e07cfd64121b499.png