Python —爬取教务管理系统，个人成绩

矫情吗；* 2022-06-18 07:46 252阅读 0赞

![20170331221134541][]

打开chrome的按F12进入，选择network，勾上preserve log（为了保存中间过程），输入上图的用户名密码，点击登陆。

![20170331221841422][]

比如POST方法或者查看login.aspx，这个就是我们提交表单的信息了，点进去拖到最下方可以看到form data，

可以看到提交的用户名密码，接下来只需代码模拟登陆的话把提交这个data里的信息就可以了。

下图的，本人学校的登入的用户名密码的表单。

![20170331222310409][]

登入进去后，为了爬取成绩需要转到成绩页面，不过不管怎么点击其他页面按键，发现网址始终不变：xxx.xxx.edu.cn/Index.aspx。

这是什么原理，目前还不太懂。不过chrome的network，勾上preserve log（为了保存中间过程），点击成绩查询，又收到2个文件。

![20170331223556639][]

cjcx:就是“成绩查询”的缩写，Request URL就是真实的地址。

所以真实的成绩查询地址不是：xxx.xxx.edu.cn/Index.aspx，而是：xxx.xxx.edu.cn/cjgl/xs\_cjcx.aspx。

接下来，就需要用到cookie登入，然后正则表达式（各个学校不一样），匹配信息，并写入test.txt文件。

正则表达式，自己看了几个网页粗粗的学了下，没有学到家，可以匹配出所有的成绩，但是还是会匹配出一些垃圾信息出来。

![20170331224146652][]![20170331225555363][]

下面就是代码部分：

#encoding=utf-8
     
    import urllib
    import urllib2
    import cookielib
    import re
    import string
    
    file_name1=r'C:\Users\112\Desktop\test.txt'
    e = open(file_name1,'w+')
    
    #绩点运算
    class SDU:
        #类的初始化
        def __init__(self):
            #登录URL
            self.loginUrl = 'http://XXX.XXX.edu.cn/login.aspx'
            #本学期成绩URL
            self.gradeUrl = 'http://XXX.XXX.edu.cn/cjgl/xs_cjcx.aspx'
            self.cookies = cookielib.CookieJar()
            self.postdata = urllib.urlencode({
                'muser':'151100000',
                'passwd':'12345678'
             })
            self.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1)AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11'}  
    	#构建opener
            self.opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(self.cookies))
            #学分list
            self.credit = []
            #成绩list
            self.grades = [] 
    		
        def getPage(self):
            request  = urllib2.Request(
                url = self.loginUrl,
                data = self.postdata,
                headers = self.headers) 
            result = self.opener.open(request)
            result = self.opener.open(self.gradeUrl)
            #打印登录内容
            #print result.read()
            page = result.read()
            print page
    		#替换内容
            page = page.replace('','') page = page.replace('','')
            #正则匹配
            st= re.compile(r'.*?
       
        (.*?).*?(.*?).*?
        
         (.*?)
         
          (.*?)
          
           (.*?)
           
            (.*?)
            
             (.*?)') myItems3 = re.findall(st,page) print myItems3 for item3 in myItems3: for i in range(7): e.write(item3[i]+' ') print item3[i] e.write('\n \n ') sdu = SDU() sdu.getPage() e.close()

[20170331221134541]: /images/20220618/70c45aed0d80496c8b075082b71b77d2.png
[20170331221841422]: /images/20220618/6456dc60348547c3ad5646aa3bb02d01.png
[20170331222310409]: /images/20220618/54a6c0925c484205bb2e2f32d8578441.png
[20170331223556639]: /images/20220618/cf679c40fec34c0a9b95c3e0e812a275.png
[20170331224146652]: https://img-blog.csdn.net/20170331224146652
[20170331225555363]: /images/20220618/dba74f37b8364380a7b02c800305d157.png