scrapy爬取网页信息，保存到MySQL数据库

比眉伴天荒 2021-09-23 07:30 495阅读 0赞

**爬取网址**

http://lab.scrapyd.cn/

**网页信息分析**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDkyNjUw_size_16_color_FFFFFF_t_70]  
我们要爬取页面的名言内容和相对应的标签内容，存入MySQL数据库中。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDkyNjUw_size_16_color_FFFFFF_t_70 1]  
通过分析页面，每一个名言的div盒子的class名称都是quote，我们使用css选择器，先把盒子中内容挑选出来，再对盒子中的内容进行提取。

response.css(".quote")

设v为盒子中的内容  
盒子中第一个span包含名言内容，class名为该盒子中唯一

v.css("span.text::text")

盒子中的class=tags盒子，标签a中包含标签内容，且class名字为tag

v.css(".tags .tag::text")

**数据库设置**  
新建一个scrapymysql的数据库。  
在其中新建一个表，名字为mingyan,包含三列，分别是id,tag,content  
id， int，长度2 主键，自增  
tag char 长度10  
content varchar 长度255

**项目**

*  新建项目

scrapy startproject scarpyMysql

*  编写itmes.py文件  
    对提取出来的名言内容和标签进行保存

import scrapy
    
    
    class ScrapymysqlItem(scrapy.Item):
        tag = scrapy.Field()  # 标签字段
        content = scrapy.Field()  # 名言内容
        pass

*  编写蜘蛛文件InputMysql.py  
    对网页内容进行爬取，并且提取网页信息，获得名言内容，标签，并且保存在item中

import scrapy
    from scrapyMysql.items import ScrapymysqlItem
    
    
    class InputMysql(scrapy.Spider):
        name = "inputMysql"
        allowed_domains = ["lab.scrapyd.cn"]
        start_urls = ["http://lab.scrapyd.cn"]
    
        def parse(self, response):
            mingyan = response.css(".quote")
            item = ScrapymysqlItem()  # 实例化item类
            for v in mingyan:  # 循环获取每一条名言里面的：名言内容、标签
                item['content'] = v.css("span.text::text").get()  # 提取名言内容
                tags = v.css(".tags .tag::text").getall()  # 提取所有标签
                item['tag'] = ",".join(tags)  # 把所有标签组合成一个字符串
                yield item

*  编写MySQL存储插件：MySQLPipeline.py  
    实现对数据库的连接，执行插入语句，把获取的信息写入数据库中

import pymysql.cursors
    import pymysql
    
    
    class MysqlPipeline(object):
        def __init__(self):
            # 连接数据库
            self.connect = pymysql.connect(
                host="127.0.0.1",  # 数据库地址
                port=3306,  # 数据库端口
                db="scrapymysql",  # 数据库名称
                user="root",  # 数据库用户
                passwd="root",  # 数据库密码
                charset="utf8",  # 数据库编码方式
                use_unicode=True
            )
            # 通过cursor执行增删改查
            self.cursor = self.connect.cursor()
    
        def process_item(self, item, spider):
            self.cursor.execute("insert into mingyan(tag, content) value (%s, %s)", (item['tag'], item['content']))
            # 提交sql语句
            self.connect.commit()
            return item  # 必须实现返回

*  settings.py文件的设置  
    启动MySQLPipline组件

ITEM_PIPELINES = {
        'scrapyMysql.MysqlPipeline.MysqlPipeline': 300,
    }

**启动项目**

scrapy crawl InputMysql

项目结构如下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDkyNjUw_size_16_color_FFFFFF_t_70 2]  
数据库结果  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDkyNjUw_size_16_color_FFFFFF_t_70 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDkyNjUw_size_16_color_FFFFFF_t_70]: /images/20210923/aac5c0bd3db54703be4ccb3f98a503e4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDkyNjUw_size_16_color_FFFFFF_t_70 1]: /images/20210923/7727e0b8daf4451c997885ce4aa4a0d9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDkyNjUw_size_16_color_FFFFFF_t_70 2]: /images/20210923/22b387a90a514200bb44acecfc82da72.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDkyNjUw_size_16_color_FFFFFF_t_70 3]: /images/20210923/a4f14cacfa004778aa5f807719b9d356.png