精通Scrapy网络爬虫【六】LinkExtractor提取链接

今天药忘吃喽~ 2021-09-08 12:34 489阅读 0赞

## 用LinkExtractor提取链接 ##

1.导入LinkExtractor

2.创建一个LinkExtractor对象，使用一个或多个构造器参数描述提取规则，这里传递给restrict\_css参数一个CSS选择器表达式。它描述出下一页链接所在的区域（在li.next下）。

3.调用LinkExtractor对象的extract\_links方法传入一个Response对象，该方法依据创建对象时所描述的提取规则，在Response对象所包含的页面中提取链接，最终返回一个列表，其中的每一个元素都是一个Link对象，即提取到的一个链接

4.用links\[0\]获取Link对象，用其构造Request对象并提交。

import scrapy
    
    from ..items import BookItem
    from scrapy.linkextractors import LinkExtractor
    
    class BookSpiderSpider(scrapy.Spider):
        name = 'book_spider'
        # allowed_domains = ['http://books.toscrape.com/']
        start_urls = ['http://books.toscrape.com//']
    
        def parse(self, response):
            for book in response.css('article.product_pod'):
                books=BookItem()
                books['name']=book.xpath('./h3/a/@title').extract_first()
                books['price']=book.css('p.price_color::text').extract_first()
                yield books
            # next_url=response.css('ul.pager li.next a::attr(href)').extract_first()
            # if next_url:
            # next_url=response.urljoin(next_url)
            # yield scrapy.Request(next_url,callback=self.parse)
            
            le=LinkExtractor(restrict_css='ul.pager li.next')
            links=le.extract_links(response)
            if links:
                next_url=links[0].url
                yield scrapy.Request(next_url,callback=self.parse)

参数描述：  
参数:  
allow (a regular expression (or list of)) – 必须要匹配这个正则表达式(或正则表达式列表)的URL才会被提取｡如果没有给出(或为空), 它会匹配所有的链接｡

deny (a regular expression (or list of)) – 与这个正则表达式(或正则表达式列表)的(绝对)不匹配的URL必须被排除在外(即不提取)｡它的优先级高于 allow 的参数｡如果没有给出(或None), 将不排除任何链接｡

allow\_domains (str or list) – 单值或者包含字符串域的列表表示会被提取的链接的domains｡

deny\_domains (str or list) – 单值或包含域名的字符串,将不考虑提取链接的domains｡

deny\_extensions (list) – 应提取链接时,可以忽略扩展名的列表｡如果没有给出, 它会默认为 scrapy.linkextractor 模块中定义的 IGNORED\_EXTENSIONS 列表｡

restrict\_xpaths (str or list) – 一个的XPath (或XPath的列表),它定义了链路应该从提取的响应内的区域｡如果给定的,只有那些XPath的选择的文本将被扫描的链接｡见下面的例子｡

tags (str or list) – 提取链接时要考虑的标记或标记列表｡默认为 ( ‘a’ , ‘area’) ｡

attrs (list) – 提取链接时应该寻找的attrbitues列表(仅在 tag 参数中指定的标签)｡默认为 (‘href’)｡

canonicalize (boolean) – 规范化每次提取的URL(使用scrapy.utils.url.canonicalize\_url )｡默认为 True ｡

unique (boolean) – 重复过滤是否应适用于提取的链接｡

process\_value (callable) – 见:class:BaseSgmlLinkExtractor 类的构造函数 process\_value 参数｡

参考资料：Scrapy官方文档  
《精通Scrapy网络爬虫》刘硕 清华大学出版社