scrapy框架之pipelines模块总结和注意事项

水深无声 2021-09-18 03:16 379阅读 0赞

### ** 项目目录scrapy\_first/settings.py配置文件设置** ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzE0NA_size_16_color_FFFFFF_t_70][]

### **scrapy\_first/pipelines.py文件下实现pipeline类** ###

实现Pipeline模块主要是实现四个方法！
    
    class BookFilterPipeline:
    
        def __init__(self, count):
            self.count = count
    
        (必须实现的方法)处理item数据的函数---注意：item是一条数据,爬虫会自动循环调用！
        def process_item(self, item, spider):
            if item["rating"] < self.count:
                raise DropItem("小于3的数据被过滤")
            return item
    
        (可选)此方法如果实现了,那么BookFilterPipeline对象从这里调用,必须返回一个cls(参数)对象
        crawler.settings是读取项目目录下的settings中的配置选项！
        @classmethod
        def from_crawler(cls, crawler):
            读取配置文件的数据
    
            count = crawler.settings.get('BOOK_FILTER_COUNT', 0)
            返回实例化对象
            return cls(count)
    
        (可选)打开蜘蛛时会调用此方法。
        def open_spider(self, spider):
            self.file = open('items.jl', 'w')
    
        (可选)当蜘蛛关闭时调用此方法。
        def close_spider(self, spider):
            self.file.close()

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzE0NA_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzE0NA_size_16_color_FFFFFF_t_70 2][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzE0NA_size_16_color_FFFFFF_t_70]: /images/20210812/f7e01745501640d98c2de0eda4fa0800.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzE0NA_size_16_color_FFFFFF_t_70 1]: /images/20210812/e2ee8cf7740f44a4a3b84a2e2c653410.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzE0NA_size_16_color_FFFFFF_t_70 2]: /images/20210812/5da0cd301be44128b5affcecbbcb1a23.png