Python爬虫基础讲解（二十三）：scrapy框架简介

迈不过友情╰ 2022-10-07 09:59 159阅读 0赞

### **Python爬虫、数据分析、网站开发等案例教程视频免费在线观看** ###

https://space.bilibili.com/523606542

# [Python学习交流群：1039649593][Python_1039649593] #

> scrapy是一个使用Python语言（基于Twisted框架）编写的开源网络爬虫框架，目前由  
> scrapinghub Ltd维护。Scrapy简单易用、灵活易拓展、开发社区活跃，并且是跨平台的。在Linux、MaxOS以及windows平台都可以使用。

# 网络爬虫 #

网络爬虫是指在互联网上自动爬取网站内容信息的程序，也被称作网络蜘蛛或网络机器人。大型的爬虫程序被广泛应用于搜索引擎、数据挖掘等领域，个人用户或企业也可以利用爬虫收集对自身有价值的数据。

一个网络爬虫程序的基本执行流程可以总结三个过程：请求数据，解析数据，保存数据

### 数据请求 ###

请求的数据除了普通的HTML之外，还有json数据、字符串数据、图片、视频、音频等。

### 解析数据 ###

当一个数据下载完成后，对数据中的内容进行分析，并提取出需要的数据，提取到的数据可以以多种形式保存起来，数据的格式有非常多种，常见的有csv、json、pickle等

### 保存数据 ###

最后将数据以某种格式(CSV、JSON)写入文件中，或存储到数据库（MySQL、MongoDB)中。同时保存为一种或者多种。

通常，我们想要获取的数据并不只在一个页面中，而是分布在多个页面中，这些页面彼此联系，一个页面中可能包含一个或多个到其他页面的链接，提取完当前页面中的数据后，还要把页面中的某些链接也提取出来，然后对链接页面进行爬取（循环1-3步骤)。

设计爬虫程序时，还要考虑防止重复爬取相同页面(URL去重)、网页搜索策略（深度优先或广度优先等)、爬虫访问边界限定等一系列问题。

从头开发一个爬虫程序是一项烦琐的工作，为了避免因制造轮子而消耗大量时间，在实际应用中我们可以选择使用一些优秀的爬虫框架，使用框架可以降低开发成本，提高程序质量，让我们能够专注于业务逻辑（爬取有价值的数据)。接下来，就带你学习目前非常流行的开源爬虫框架Scrapy。

# scrapy安装 #

scrapy官网：[https://scrapy.org/][https_scrapy.org]  
scrapy中文文档：[https://www.osgeo.cn/scrapy/intro/overview.html][https_www.osgeo.cn_scrapy_intro_overview.html]

### 安装方式 ###

在任意操作系统下，可以使用pip安装Scrapy，例如：

pip install scrapy

安装完成后我们需要测试安装是否成功，通过如下步骤确认：

在终端中测试能否执行scrapy这条命令

scrapy 2.4.0 - no active project
    
    usage:
        scrapy <command>[options] [args]
    
    Available commands :
        bench        Run quick benchmark test
        fetch        Fetch a URL using the scrapy down1oader
        genspider        Generate new spider using pre-defined temp1ates
        runspider        Run a self-contained spider (without creating a project)
        settings        Get settings values
        she11        Interactive scraping console
        startproject        create new project
        version        Print scrapy version
        view        open URL in browser,as seen by scrapy
    
        [ more ]        More commands available when run from project directory
    
    use "scrapy <command> -h" to see more info about a command

输入scrapy bench测试连通性，如果出现以下情况表示安装成功：

![be59e37e273549ecb1f6f520346c45a9.png][]

通过了以上两项检测，说明Scrapy安装成功了。如上所示，我们安装的是当前最新版本2.4.0。

**注意：**  
在安装Scrapy的过程中可能会遇到缺少VC++等错误，可以安装缺失模块的离线包

![00960e2ecf5c29b7b7a0e47b9c1dda1b.png][]

成功安装后，在CMD下运行scrapy出现上图不算真正成功，检测真正是否成功使用scrapybench测试，如果没有提示错误，就代表成功安装。

### 全局命令 ###

scrapy 2.4.0 - no active project
    
    usage:
      scrapy <command>[options] [args]
    
    Available commands :
      bench      Run quick benchmark test #测试电脑性能
      fetch      Fetch a URL using the scrapy down1oader#将源代码下载下来并显示出来
      genspider      Generate new spider using pre-defined temp1ates#创建一个新的spider文件
      runspider      Run a self-contained spider (without creating a project)# 这个和通过craw1启动爬虫不同，scrapy runspider爬虫文件名称
      settings      Get settings values#获取当前的配置信息
      she11      Interactive scraping console#进入scrapy 的交互模式
      startproject      create new project#创建爬虫项目
      version      Print scrapy version#显示scrapy框架的版本
      view      open URL in browser，as seen by scrapy#将网页document内容下载下来，并且在浏览器显示出来
    
      [ more ]      More commands available when run from project directory
    use "scrapy <command> -h" to see more info about a command

### 项目命令 ###

*  scrapy startproject projectname  
    创建一个项目
 *  scrapy genspider spidername domain  
    创建爬虫。创建好爬虫项目以后，还需要创建爬虫。
 *  scrapy crawl spidername  
    运行爬虫。注意该命令运行时所在的目录。

[Python_1039649593]: https://jq.qq.com/?_wv=1027&k=SBLaYU2c
[https_scrapy.org]: https://scrapy.org/
[https_www.osgeo.cn_scrapy_intro_overview.html]: https://www.osgeo.cn/scrapy/intro/overview.html
[be59e37e273549ecb1f6f520346c45a9.png]: /images/20221005/64a7f6fbe2ce435ca39e302393ccd2e5.png
[00960e2ecf5c29b7b7a0e47b9c1dda1b.png]: /images/20221005/c65e0710774c47c182ec22941212db88.png