爬虫利器初体验 scrapy，爬取豆瓣电影

妖狐艹你老母 2022-02-02 03:13 446阅读 0赞

## 目录 ##

*  前言
 *  scrapy 数据流
 *  scrapy 组件
 *  爬取豆瓣电影 Top250
 *  后记
 *  送书后话

## 前言 ##

为什么要学 scrapy 呢？看下图中的招聘要求，就清楚了。很多招聘要求都有 scrapy，主要是因为 scrapy 确实很强。那到底强在哪里呢？请在文中找答案。

![1545189359171655.jpg][]

![1545189359791315.png][]

## scrapy 数据流 ##

首先我们先来学习一下 scrapy 的工作流程。

![1545189360230901.jpg][]

1、爬虫引擎获得初始请求开始抓取。   
2、爬虫引擎开始请求调度程序，并准备对下一次的请求进行抓取。   
3、爬虫调度器返回下一个请求给爬虫引擎。   
4、引擎请求发送到下载器，通过下载中间件下载网络数据。   
5、一旦下载器完成页面下载，将下载结果返回给爬虫引擎。   
6、引擎将下载器的响应通过中间件返回给爬虫进行处理。   
7、爬虫处理响应，并通过中间件返回处理后的items，以及新的请求给引擎。   
8、引擎发送处理后的 items 到项目管道，然后把处理结果返回给调度器，调度器计划处理下一个请求抓取。   
9、重复该过程（继续步骤1），直到爬取完所有的 url 请求。

## scrapy 组件 ##

爬虫引擎

爬虫引擎负责控制各个组件之间的数据流，当某些操作触发事件后都是通过 engine来处理。

调度器

调度接收来 engine 的请求并将请求放入队列中，并通过事件返回给 engine。

下载器

通过engine请求下载网络数据并将结果响应给engine。

Spider

Spider 发出请求，并处理 engine 返回给它下载器响应数据，以 items 和规则内的数据请求(urls)返回给 engine。

item pipeline

负责处理 engine 返回 spider 解析后的数据，并且将数据持久化，例如将数据存入数据库或者文件。

download middleware

下载中间件是engine和下载器交互组件，以钩子(插件)的形式存在，可以代替接收请求、处理数据的下载以及将结果响应给engine。

spider middleware

spider中间件是engine和spider之间的交互组件，以钩子(插件)的形式存在，可以代替处理response以及返回给engine items及新的请求集。

## 爬取豆瓣电影 Top250 ##

安装

pip install scrapy

初始化爬虫

scrapy startproject doubanTop250（项目名称）

目录架构如下，其中 douban\_spider.py 为手动创建。

![1545189360912311.png][]

启动爬虫

scrapy crawl douban（后面会解释，这个 dougban 是从哪里来的，此处先留一个小坑）

spider

以下代码为 douban\_spider.py ，里面都有相应的注释，以方便理解

class RecruitSpider(scrapy.spiders.Spider):
        # 此处为上面留下的小坑，即是设置爬虫名称
        name = "douban"
        # 设置允许爬取的域名
        allowed_domains = ["douban.com"]
        # 设置起始 url
        start_urls = ["https://movie.douban.com/top250"]
    
        # 每当网页数据 download 下来，就会发送到这里进行解析
        # 然后返回一个新的链接，加入 request 队列
        def parse(self, response):
            item = Doubantop250Item()
            selector = Selector(response)
            Movies = selector.xpath('//div[@class="info"]')
            for eachMovie in Movies:
                title = eachMovie.xpath('div[@class="hd"]/a/span/text()').extract()  # 多个span标签
                fullTitle = "".join(title)
                movieInfo = eachMovie.xpath('div[@class="bd"]/p/text()').extract()
                star = eachMovie.xpath('div[@class="bd"]/div[@class="star"]/span/text()').extract()[0]
                quote = eachMovie.xpath('div[@class="bd"]/p[@class="quote"]/span/text()').extract()
                # quote 可能为空，这里进行判断一下
                if quote:
                    quote = quote[0]
                else:
                    quote = ''
                item['title'] = fullTitle
                item['movieInfo'] = ';'.join(movieInfo)
                item['star'] = star
                item['quote'] = quote
                yield item
            nextLink = selector.xpath('//span[@class="next"]/link/@href').extract()
            # 第10页是最后一页，没有下一页的链接
            if nextLink:
                nextLink = nextLink[0]
                yield Request(urljoin(response.url, nextLink), callback=self.parse)

pipelines

每当 spider 分析完 HTML 之后，变会返回 item，传递给 item pipelines。上面代码中：

yield item

便是返回的数据。  
一般 pipelines 常用于：

*  检查是否有某些字段
 *  将数据存进数据库
 *  数据查重  
    由于只是初步尝试一下 scrapy 爬虫，所以这里我没有进行修改

class Doubantop250Pipeline(object):
        def process_item(self, item, spider):
            return item

items

定义我们需要获取的字段

class Doubantop250Item(scrapy.Item):
        # define the fields for your item here like:
        # name = scrapy.Field()
        title = scrapy.Field()  # 电影名字
        movieInfo = scrapy.Field()  # 电影的描述信息，包括导演、主演、电影类型等等
        star = scrapy.Field()  # 电影评分
        quote = scrapy.Field()  # 脍炙人口的一句话
        pass

## setting ##

settings.py 定义我们爬虫的各种配置，由于这里是初步了解 scrapy 故相应的介绍会在后面。

启动爬虫

scrapy crawl douban

![1545189361423854.jpg][]

这里没有进行详细的解析，只是展示大概数据

## 后记 ##

关于豆瓣电影的小爬虫就下完了，后面会深入解析一下 scrapy 的高级用法。

[1545189359171655.jpg]: https://www.itcodemonkey.com/data/upload/portal/20181219/1545189359171655.jpg
[1545189359791315.png]: https://www.itcodemonkey.com/data/upload/portal/20181219/1545189359791315.png
[1545189360230901.jpg]: https://www.itcodemonkey.com/data/upload/portal/20181219/1545189360230901.jpg
[1545189360912311.png]: https://www.itcodemonkey.com/data/upload/portal/20181219/1545189360912311.png
[1545189361423854.jpg]: https://www.itcodemonkey.com/data/upload/portal/20181219/1545189361423854.jpg