新建一个scrapy项目的步骤

Myth丶恋晨 2022-06-03 10:05 357阅读 0赞

1、创建一个scrapy的开发环境

mkvirtualenv article

mkvirtualenv --python=C:\\Users\\Administrator\\AppData\\Local\\Programs\\Python\\Python\\python.exe

2、使用   scrapy 来创建 ArticleSpider项目

在文件夹中右键，在此处打开命令窗口，本人是在这个目录 C:\\Users\\win\\Desktop\\scrapytest

然后输入下面的指令：

scrapy startproject ArticleSpider

然后将项目导入到pycharm中，项目的结构目录如下图所示

![20171226003143209][]

settings.py是一个总配置文件：

BOT\_NAME ： 工程名字

SPIDER\_MODULES：

NEWSPIDER\_MODULE：

下面module的配置路径

pipelines.py 这个是一个跟数据存储相关的文件

middlewares.py 可以自定义，让scrapy更加可控

items.py 这个文件有点类似于 django中的一个form，定义了数据保存的格式

，但是它要比django的form应用简单，因为它的字段是十分单一的

spider文件夹：这个文件夹中存放的是具体的某个网站的爬虫.

3、通过命令行，我们可以创建出属于自己的一个spider

首先先进入到项目下面，然后执行命令本人项目路径是: C:\\Users\\win\\Desktop\\scrapytest\\ArticleSpider

scrapy genspider jobbole blog.jobbole.com

于是便看到了项目中已经新建了一个 jobbole.py文件，如下图所示:

![20171226004351056][]

我们看到jobbole.py这个文件中已经默认生成了python代码，并且这个类继承自 scrapy.Spider

[20171226003143209]: /images/20220603/ad5313fa2b574e28a39aa20d4240e883.png
[20171226004351056]: /images/20220603/0ced4672d65a47f7935974d1a2d5665c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，357人围观）

还没有评论，来说两句吧...

相关阅读

相关新建一个springboot项目

新建Module > ![在这里插入图片描述][c18b84dc548843b59873ae39c5fd6de1.png] --------------------

左手的ㄟ右手/ 2024年03月24日 14:42/ 0 赞/ 62 阅读

相关 Spring 新建一个简单的项目

EJB（Enterprise JavaBean）。 EJB的优势在分布式，EJB适合组件化的分布式应用，而Spring做不了分布式。EJB是官方的。Sprin

一时失言乱红尘/ 2023年06月19日 11:28/ 0 赞/ 6 阅读

相关新建一个vue项目

第一步：npm安装：先从nodejs官网下载nodejs，然后安装。第二步：检查版本 node -v npm -v 虽然node自带npm，

朱雀/ 2023年06月09日 14:30/ 0 赞/ 41 阅读

相关 vue如何新建一个项目

vue创建项目（npm安装→初始化项目）第一步npm安装首先：先从nodejs.org中下载nodejs ![在这里插入图片描述][watermark_type_

逃离我推掉我的手/ 2022年12月22日 11:27/ 0 赞/ 278 阅读

相关新建一个vue项目

用命令行生成vue项目框架需要npm包管理器来安装,而npm又是在安装nodejs的时候同时安装的, 所以首先要安装nodejs。安装完成后，打开cmd。

川长思鸟来/ 2022年06月08日 13:22/ 0 赞/ 293 阅读

相关新建一个scrapy项目的步骤

1、创建一个scrapy的开发环境 mkvirtualenv article mkvirtualenv --python=C:\\Users\\Administr

Myth丶恋晨/ 2022年06月03日 10:05/ 0 赞/ 358 阅读

相关 scrapy 新建项目以及项目结构介绍

> 使用命令 scrapy 命令行来创建项目 > `startproject projectName` 项目结构如下图: ![新建项目][70] > 各个文件功能

矫情吗；*/ 2022年05月30日 02:35/ 0 赞/ 279 阅读

相关 github新建项目推送步骤

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

刺骨的言语ヽ痛彻心扉/ 2022年02月04日 14:34/ 0 赞/ 411 阅读

相关新建一个Angular项目

终端运行命令`ng new 项目名称` 创建路由 y 选择css y 这时会以npm的方式装包,Ctrl+c 退安装 `cd 到刚才创建的文件夹` `用cnpm i

清疚/ 2021年11月11日 04:40/ 0 赞/ 441 阅读

相关 vue如何新建一个项目（超详细步骤）

一：项目初始化第一步：安装vue-cli cnpm install vue-cli -g //全局安装 vue-cli ![water

快来打我*/ 2021年11月10日 14:24/ 0 赞/ 453 阅读