Python爬虫--爬取最好大学网学校信息

深碍√TFBOYSˉ_ 2022-02-12 11:31 479阅读 0赞

### 欢迎参观我的个人博客：[L'ZXX\_Blog][L_ZXX_Blog] ###

首先给出网址： [最好大学网][Link 1]

## 1.我们先来看网站信息： ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pfeGluZG9uZw_size_16_color_FFFFFF_t_70][]

## 2.我们再来审查元素，发现我们所需要的信息都在tbody标签中，一条信息在一个tr标签中，tr中的td标签这就是单个信息的存在： ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pfeGluZG9uZw_size_16_color_FFFFFF_t_70 1][]

## 3.编写代码，在这里我们用到了requests库和BeautifulSoup库，都是Python的第三方库，需要pip安装。 ##

import requests
    from bs4 import BeautifulSoup
    import bs4
    def getHtmlText(url):
        try:
            r = requests.get(url,timeout=30)
            r.raise_for_status()
            r.encoding = r.apparent_encoding
            return r.text
        except:
            print('响应失败')
            return ""
    def fillUnivList(ulist,html):
        soup = BeautifulSoup(html,'html.parser')
        for tr in soup.find('tbody').children:
            if isinstance(tr,bs4.element.Tag):#过滤掉非tag类型
                tds = tr.find_all('td')#tds为tr标签的列表
                ulist.append([tds[0].string,tds[1].string,tds[3].string])
    def displayUivList(ulist,num):
        tqlt = "{0:^10}\t{1:{3}^10}\t{2:^10}"#控制中文对齐
        print(tqlt.format('排名','学校','分数',chr(12288)))
        for i in range(num):
            u = ulist[i]
            print(tqlt.format(u[0],u[1],u[2],chr(12288)))
        print('Suo'+str(num))
    def main():
        uinfo = []
        url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html'
        html = getHtmlText(url)
        fillUnivList(uinfo,html)
        displayUivList(uinfo,20)
    main()

获得的结果：这处理结果的时候需要注意一下，关于中文对齐的问题，在这里我们用chr(12288)来作为填充字符，就可以很好地解决中文对齐问题。

排名    	　　　　学校　　　　	    分数    
        1     	　　　清华大学　　　	   94.6   
        2     	　　　北京大学　　　	   76.5   
        3     	　　　浙江大学　　　	   72.9   
        4     	　　上海交通大学　　	   72.1   
        5     	　　　复旦大学　　　	   65.6   
        6     	　中国科学技术大学　	   60.9   
        7     	　　华中科技大学　　	   58.9   
        7     	　　　南京大学　　　	   58.9   
        9     	　　　中山大学　　　	   58.2   
        10    	　哈尔滨工业大学　　	   56.7   
        11    	　北京航空航天大学　	   56.3   
        12    	　　　武汉大学　　　	   56.2   
        13    	　　　同济大学　　　	   55.7   
        14    	　　西安交通大学　　	   55.0   
        15    	　　　四川大学　　　	   54.4   
        16    	　　北京理工大学　　	   54.0   
        17    	　　　东南大学　　　	   53.6   
        18    	　　　南开大学　　　	   52.8   
        19    	　　　天津大学　　　	   52.3   
        20    	　　华南理工大学　　	   52.0   
    Suo20

[L_ZXX_Blog]: http://rushskh.club/
[Link 1]: http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pfeGluZG9uZw_size_16_color_FFFFFF_t_70]: /images/20220212/60f71c887ab442158182180d55ec72c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pfeGluZG9uZw_size_16_color_FFFFFF_t_70 1]: /images/20220212/7090c102fa0148cca44b8364bed28f19.png