python快速构建爬虫项目Scrapy，和Scrapy项目结构分析

深藏阁楼爱情的钟 2021-12-01 13:42 308阅读 0赞

## [上一篇 Python学习必备知识，使用conda管理python环境和包(基于Windows)][Python_conda_python_Windows] ##

## 安装好scrapy,pycharm,conda等等 ##

## 进入指定环境（激活环境），安装scrapy,可用 conda 或者 pip 命令 ##

### 1. 指定项目目录 ###

cd D:\Python\scrapy

### 2. 检查环境(或者自己新建环境，并激活，参照命令) ###

conda env list

![在这里插入图片描述][20190720165327807.png]

### 3. 激活环境 ###

activate base

### 4. 检查当前环境下，有没有scrapy包（重复操作，直到显示有这个包安装成功，即有显示即可） ###

conda list

##### 我这里是安装好的，具体安装请参照 conda install xxxx 或者 pip install xx(python3版本更适合这个) #####

![在这里插入图片描述][20190720165618398.png]

### 5. 开始构建Scrapy项目，命令如下 ###

scrapy startproject projectname

##### 其中projectname 是你要初始化的项目名称 #####

scrapy genspider projectname_spider https://www.tmall.com/

##### [https://www.tmall.com/,是你要爬取数据的网站][https_www.tmall.com] #####

### 6.将项目导入到Pycharm中，如下结构 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMTA1NjI5_size_16_color_FFFFFF_t_70]

## 错误记录，注意，pip 和 conda 两个命令安装的包，是有依赖冲突的！！ ##

# pip install scrapy,这个命令安装的包，并不完美支持python3.7, #

# conda install scrapy 只python3.6以下版本支持，所以后来我新建了python3.6环境,使用这个命令重新安装的。 #

## 下一篇 第一次爬虫记录，使用Scrapy简单爬取CSDN首页上的文章标题 ##

[Python_conda_python_Windows]: https://blog.csdn.net/qq_42105629/article/details/96592707
[20190720165327807.png]: /images/20211201/47d4cbf3bf2d4ed8bac14cefa05327d0.png
[20190720165618398.png]: /images/20211201/f0bf94c6c98b4d458eb1c9f6c47d7942.png
[https_www.tmall.com]: https://www.tmall.com/,%E6%98%AF%E4%BD%A0%E8%A6%81%E7%88%AC%E5%8F%96%E6%95%B0%E6%8D%AE%E7%9A%84%E7%BD%91%E7%AB%99
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMTA1NjI5_size_16_color_FFFFFF_t_70]: /images/20211201/039f086c904b4579a5b2a92798ddaae7.png