「Scrapy 爬虫框架」物品加载（Item Loaders）详解

绝地灬酷狼 2022-10-25 14:11 492阅读 0赞

### 文章目录 ###

*  内容介绍
 *  ItemLoader 的定义
 *  ItemLoader 的使用

# 内容介绍 #

开发环境为 Python3.6，Scrapy 版本 2.4.x ，爬虫项目全部内容索引目录

[看懂Python爬虫框架，所见即所得一切皆有可能][Python]

本章带你学习基于 **Python3** 的 **Scrapy 爬虫框架** 中数据爬取过程中Item为抓取的数据提供的容器，使用Item Loader可以让我们非常方便的将输入填充到容器中。

代码内容基于「Scrapy 爬虫框架」源码版本 2.4.0 ，更新内容会进行标记说明对应版本。

# ItemLoader 的定义 #

""" # item：加载器解析的Item对象。 # context：ItemLoader的内容。 # default_item_class：实例化__init__方法。 # default_input_processor：指定字段的默认输入处理器。 # default_output_processor：指定字段的默认输出处理器。 # default_selector_class：用于构造selector其中ItemLoader。 # selecto ：在Selector对象中提取数据。 # add_css (field_name, CSS, *processors, **kw)：用于提取数据，通过processors和kwargs的处理后，存储到field_name # add_value(field_name, value, *processors, **kw)：处理添加给定的value对于给定的字段。get_value()通过给processors和kwargs，添加数据使用。 # add_xpath(field_name, value, *processors, **kw)：用于从与此相关的选择器中提取字符串列表。 # get_collected_values**(field_name)：返回字段的收集值。 # get_css (CSS, *processors, **kw)：用于从与此相关的选择器中提取Unicode字符串列表。 # get_output_value(field_name)：返回使用输出处理器为给定字段解析的收集值。 # get_value(value, *processors, **kw)：处理给定的value被给予processors关键字参数。 # get_xpath**(XPath, *processors, **kw)：用于从与此相关的选择器中提取Unicode字符串的列表。 # load_item()：收集的数据填充并返回。 # nested_css(CSS, **context)：使用CSS选择器创建嵌套加载器。提供的选择器相对于与ItemLoader。 # nested_xpath (XPath, **context)：使用XPath选择器创建嵌套加载器。提供的选择器相对于与ItemLoader。 # replace_css(field_name, CSS, *processors, **kw)：类似于add_css()但取代收集的数据而不是添加数据。 # replace_value(field_name, 价值, *processors, **kw)：类似于add_value()但是将收集到的数据替换为新值，而不是添加它。 # replace_xpath(field_name, XPath, *processors, **kw)：类似于add_xpath()但取代收集的数据而不是添加数据。 """

# ItemLoader 的使用 #

*  **1.定义Items**

import scrapy
     
    class Product(scrapy.Item):
        name = scrapy.Field()
        price = scrapy.Field()
        stock = scrapy.Field()
        last_updated = scrapy.Field(serializer=str)

*  **2.Spider中加载填充数据**

from scrapy.loader import ItemLoader
    from myproject.items import Product
     
    def parse(self, response):
        l = ItemLoader(item=Product(), response=response)
        l.add_xpath('name', '//div[@class="product_name"]')
        l.add_xpath('name', '//div[@class="product_title"]')
        l.add_xpath('price', '//p[@id="price"]')
        l.add_css('stock', 'p#stock]')
        l.add_value('last_updated', 'today') # you can also use literal values
        return l.load_item()

*  **3.处理数据集项**

# 定义数据的字段类型和默认值。
    from dataclasses import dataclass, field
    from typing import Optional
    
    @dataclass
    class InventoryItem:
        name: Optional[str] = field(default=None)
        price: Optional[float] = field(default=None)
        stock: Optional[int] = field(default=None)

*  **4.输入/输出处理器**

# 每个Item Loader对每个Field都有一个输入处理器和一个输出处理器。
    # 输入处理器在数据被接受到时执行，当数据收集完后调用ItemLoader.load_item()时再执行输出处理器，返回最终结果。
    l = ItemLoader(Product(), some_selector)
    l.add_xpath('name', xpath1) # (1)
    l.add_xpath('name', xpath2) # (2)
    l.add_css('name', css) # (3)
    l.add_value('name', 'test') # (4)
    return l.load_item() # (5)

*  **5.声明Item Loader**

# 通过_in和_out后缀来定义输入和输出处理器，
    # 并且还可以定义默认的ItemLoader.default_input_processor和ItemLoader.default_input_processor。
    from scrapy.loader import ItemLoader
    from scrapy.loader.processors import TakeFirst, MapCompose, Join
     
    class ProductLoader(ItemLoader):
        default_output_processor = TakeFirst()
     
        name_in = MapCompose(unicode.title)
        name_out = Join()
     
        price_in = MapCompose(unicode.strip)
     
        # ...

*  **6.在Field定义中声明输入/输出处理器**

# 直接在Field中定义添加输入/输出处理器非常方便。
    # 1. 在Item Loader中定义的field_in和field_out
    # 2. Filed元数据(input_processor和output_processor关键字)
    
    import scrapy
    from scrapy.loader.processors import Join, MapCompose, TakeFirst
    from w3lib.html import remove_tags
     
    def filter_price(value):
        if value.isdigit():
            return value
     
    class Product(scrapy.Item):
        name = scrapy.Field(
            input_processor=MapCompose(remove_tags),
            output_processor=Join(),
        )
        price = scrapy.Field(
            input_processor=MapCompose(remove_tags, filter_price),
            output_processor=TakeFirst(),
        )

*  **7.Item Loader上下文**

# Item Loader上下文被所有输入/输出处理器共享。
    def parse_length(text, loader_context):
        unit = loader_context.get('unit', 'm')
        # ... 这里写入长度解析代码 ...
        return parsed_length
    
    # 初始化和修改上下文的值
    loader = ItemLoader(product)
    loader.context['unit'] = 'cm'
     
    loader = ItemLoader(product, unit='cm')
     
    class ProductLoader(ItemLoader):
        length_out = MapCompose(parse_length, unit='cm')

*  **8.重写和拓展 Item Loaders**

# 用于大规模代码的维护操作，使用公共的设置进行操作。
    # 操作删除指定符号，建议在后期的数据清洗部分处理。
    from itemloaders.processors import MapCompose
    from myproject.ItemLoaders import ProductLoader
    
    def strip_dashes(x):
        return x.strip('-')
    
    class SiteSpecificLoader(ProductLoader):
        name_in = MapCompose(strip_dashes, ProductLoader.name_in)

from itemloaders.processors import MapCompose
    from myproject.ItemLoaders import ProductLoader
    from myproject.utils.xml import remove_cdata
    
    class XmlProductLoader(ProductLoader):
        name_in = MapCompose(remove_cdata, ProductLoader.name_in)

[Python]: https://blog.csdn.net/qq_20288327/article/details/120575605