Scrapy爬虫（3）爬取中国高校前100名并写入MongoDB

梦里梦外; 2022-06-05 12:48 129阅读 0赞

[在以前 的分享中，我们利用urllib和BeautifulSoup模块爬取中国高校排名前100名并将其写入MySQL.][_urllib_BeautifulSoup_100_MySQL.]在本次分享中，我们将会用到Scrapy和BeautifulSoup模块，来爬取中国高校排名前100名并将其写入MongoDB数据库。爬取的网页为:http://gaokao.xdf.cn/201702/10612921.html, 截图如下（部分）：  
![这里写图片描述][format_png]  
首先登陆MongoDB数据库，创建好testdb数据库和university\_rank集合（collection）。然后开始着手写Scrapy爬虫。  
完整的Python代码如下：

#import modules
    import bs4
    import scrapy
    import pymongo
    from bs4 import BeautifulSoup
    from pymongo import MongoClient
    
    class UniversityRankSpider(scrapy.Spider):
        name = "university-rank"  #name of spider
        start_urls = ['http://gaokao.xdf.cn/201702/10612921.html',]  #url of website
    
        def parse(self, response):  #parse function
            content = response.xpath("//tbody").extract()[0]
    	    soup = BeautifulSoup(content, "lxml")  #use BeautifulSoup 
            table = soup.find('tbody')
            count = 0 
            lst = []   # list to save data from the table
            for tr in table.children:  #BeautifulSoup grammmer
                if isinstance(tr, bs4.element.Tag):
                    td = tr('td')
                    if count >= 2:  #ingore the first line
                        lst.append([td[i]('p')[0].string.replace('\n','').replace('\t','') for i in range(8)])
                    count += 1
            
    	    conn = MongoClient('mongodb://localhost:27017/')  #connect mongodb
    	    db = conn.testdb
            
            for item in lst:  #insert data into university_rank table
                db.university_rank.insert([
     	        { 'rank':'%s'%item[0], 'university':'%s'%item[1], 'address':'%s'%item[2], 'local_rank':'%s'%item[3],
                     'total grade':'%s'%item[4], 'type':'%s'%item[5], 'star rank':'%s'%item[6], 'class':'%s'%item[7]},
    		]) 
    
    	    print 'Successfully downloading data from website, and write it to mongodb database!'

Scrapy爬虫的运行结果如下：  
![这里写图片描述][format_png 1]  
接下来我们去robo3t中查看mongodb数据库，其中的university\_rank集合如下：  
![这里写图片描述][format_png 2]  
Bingo，我们成功地把数据写入了mongodb数据库！

--------------------

本次分享到此结束， 欢迎大家批评与交流~~

[_urllib_BeautifulSoup_100_MySQL.]: http://blog.csdn.net/jclian91/article/details/77387679
[format_png]: /images/20220605/c94d1f1d7395424f936742710acbd0dc.png
[format_png 1]: /images/20220605/df66990e925848c89db8ffd6b15f434b.png
[format_png 2]: /images/20220605/e7dca2c2bc67455ea5c77b8341334481.png