Scrapy入门--爬取cnblogs文章

心已赠人 2022-06-02 03:54 225阅读 0赞

1.  实验环境：Anaconda3-5.0.1；
2.  Python版本：3.6；
3.  OS：win10；
4.  完整代码：[完整示例][Link 1]；

<table> 
 <tbody> 
  <tr> 
   <td><font>一、Scrapy简介</font></td> 
  </tr> 
 </tbody> 
</table>

##### **What is Scrapy？** #####

Scrapy 是一个爬虫框架，为了爬取网站数据，提取结构性数据而编写。 可应用在包括数据挖掘，信息处理或存储历史数据等领域。  
Scrapy，即Scraping data with Python。Scrapy 使用异步网络库Twisted来处理网络通讯，架构清晰，并且包含了各种中间件接口，满足不同年龄段不同人群的个性化需求哈。

##### **Scrapy 架构** #####

框架内容，不准备专业搞这个或面试就不用记了，看看过了就ok了  
**先上经典高清无码大图**  
![这里写图片描述][SouthEast]

*  引擎(Scrapy Engine)  
    负责组件之间数据的流转，它实现了并行化，类似于管道系统；
 *  调度器(Scheduler)  
    接收requests，让它们老实在这里排队，以便后面下载器处理，requests中大部分都是url，体积较小，可想，即使有很多请求，也是没有关系的哈
 *  下载器(Downloader)  
    下载器负责处理requests，抓取网页，并传递给引擎，之后抓取结果返回给spider；下载器是scrapy框架性能的中最重要的一环，机制复杂，总之，它限制了并发数，有管道长度的延迟；下载器的能力受限于CONCURRENT\_REQUESTS\*设置。
 *  爬虫中间件(Spider Middlewares)  
    位于引擎和Spider之间，处理抓取器的输入和输出；当你想在spiders产生的Items到达Item Pipeline之前或response到达spider之前做一些处理，就用它；
 *  爬虫(Spiders) ♥♥♥  
    这部分是用户编写的可定制化的部分，负责解析response，产生items和url；它对Scrapy框架性能没啥影响，不是瓶颈哈；
 *  项目管道(Item Pipeline) ♥♥♥  
    负责处理spider产生的item；典型用途：清洗，验证，持久化等；Spider对每个Request可能产生几百个items，只有CONCURRENT\_ITEMS会被并行处理；注意，当使用pipelines连接数据库时，pipelines的默认值是100，此时向数据库导入数据就会造成瓶颈问题了，因为items太多啊
 *  下载器中间件(Downloader Middlewares) ♥♥  
    位于下载器和引擎之间，处理传送到下载器的requests和传送到引擎的response；可以想象，当你要在requests到达下载器之前，或者，responses到达爬虫之前做一些预处理，那就要用这个玩意了；

> 1、上面顺带提了一下Scrapy的性能问题，其中，下载器影响因素最大，项目的管道和Spider是异步关系，不是瓶颈，其他因素可考虑硬件，如CPU等；  
> 2、三颗心和两颗心的都很重要哈，越多越重要。

<table> 
 <tbody> 
  <tr> 
   <td><font>二、Scrapy安装</font></td> 
  </tr> 
 </tbody> 
</table>

##### **需要安装的pip库包** #####

*  **pywin32**
 *  **pyOpenSSL**
 *  **zope.interface**
 *  **Scrapy**

按照顺序，挨个`pip install ***`或者使用conda的朋友`conda install ***`；什么？你安装失败？点这里搜轮子[轮子妈][Link 2]，然后，到轮子路径下`pip install ***.whl`.

*  **安装cpp库**  
    win系统点这里下载（cpp库下载地址）直接安装。

##### **验证安装** #####

1.  导入验证：  
    cmd命令窗口，输入python，导入scrapy  
    `import scrapy`  
    ![这里写图片描述][SouthEast 1]
2.  打开scrapy命令行  
    在cmd命令行输入，返回如下结果：  
    `scrapy shell www.baidu.com`  
    ![这里写图片描述][SouthEast 2]

当你碰到如下情况，说明scrapy所在目录没有加入到环境变量中，我这里不再添加，而是使用conda命令行。你也可以自己把scrapy所在目录加入环境变量中。  
![这里写图片描述][SouthEast 3]

<table> 
 <tbody> 
  <tr> 
   <td><font>三、爬取cnblogs</font></td> 
  </tr> 
 </tbody> 
</table>

*  **新建项目cnblogs**

scrapy startproject cnblogs

![这里写图片描述][SouthEast 4]

*  **建立爬虫**  
    
    
    1.  进入项目目录：`cd cnblogs`
    2.  创建爬虫

scrapy genspider crawl_cnblogs_article www.cnblogs.com

![这里写图片描述][SouthEast 5]  
![这里写图片描述][SouthEast 6]  
注意到，这些就是scrapy项目的目录结构了，其中我们创建的爬虫位于项目目录cnblogs的spiders目录下。不信你去看看…

*  **编写爬虫**

到指定文件夹编写‘crawl\_cnblogs\_article.py’文件；

# -*- coding: utf-8 -*-
    import scrapy
    
    
    class CrawlCnblogsArticleSpider(scrapy.Spider):
        name = 'crawl_cnblogs_article'
        allowed_domains = ['www.cnblogs.com']
        start_urls = ['http://www.cnblogs.com/']
    
        def parse(self, response):
            # 详细页面链接
            href = response.xpath('//*[@id="post_list"]/div/div/h3/a/@href').extract()
            # 调用Request，传递url，指定callback
            for url in href:
                yield scrapy.Request(url=url,callback=self.parse_info)
    
            # 下一页
            next_page = response.xpath('//*[@id="paging_block"]/div/a[last()]/text()').extract()
            if next_page[0] == 'Next >':  # 判断最后一个节点的文本是否是Next >  以此判断是否达到最后一页
                next_page_href = response.xpath('//*[@id="paging_block"]/div/a[last()]/@href').extract()[0]
                #print(response.urljoin(next_page_href))
                yield scrapy.Request(url=response.urljoin(next_page_href),callback=self.parse)
    
        # 定义一个处理详细页面链接的方法，抓取详细页面数据
        def parse_info(self,response):
            title = response.xpath('//*[@id="cb_post_title_url"]/text()').extract()[0]
            # lxml中xpath里写string则返回一条字符串
            # 但是在scrapy xpath里无论是什么规则，返回的都是列表
            content = response.xpath('string(//*[@id="cnblogs_post_body"])').extract()[0]
            save_dict = {}
            save_dict['title'] = title
            save_dict['content'] = content
            save_dict['href'] = response.url
    
            w=lambda x:x+"\r\n"
            with open('test.txt','a+',encoding='utf-8') as f:
                f.write(w(save_dict['title']))
                f.write(w('*'*100))
                f.write(w(save_dict['content']))
                f.write(w('-' * 100))
                f.write(w(save_dict['href']))
                f.write(w('=' * 100))

*  **运行爬虫**  
    `scrapy crawl crawl_cnblogs_article`  
    ![这里写图片描述][SouthEast 7]

状态码200表示请求成功；我这里直接终止Ctrl+c终止程序了，一般运行结束还会得到一系列爬虫过程的统计分析结果。  
**查看爬虫得到的结果**  
![这里写图片描述][SouthEast 8]  
**查看test.txt文件**  
![这里写图片描述][SouthEast 9]

爬虫远不止于此.

1.  本文项目完整代码：[完整示例][Link 1]；
2.  能力有限，欢迎指错交流；

欢迎关注个人微信公众号WaltSmithML或新浪微博WaltSmith，公众号提供机器学习、深度学习、Hadoop、Spark、Python、数学知识等免费视频教程。本人主要方向为机器学习和深度学习。非常欢迎一起交流学习哈，除了学习，还可免费帮忙download论文或者书籍哈==============  
♥♥♥微信公众号♥♥♥![微信公众号WaltSmithML二维码][WaltSmithML]♥♥♥♥![新浪微博WaltSmith二维码][WaltSmith]♥♥新浪微博♥♥

[Link 1]: https://github.com/waltsmith88/blogs-scraping
[SouthEast]: /images/20220602/80ec1bb50ac5404f9180b50491233c03.png
[Link 2]: https://pypi.python.org/pypi
[SouthEast 1]: /images/20220602/bd96c78a397d4332b45fe40d8cd8ebf9.png
[SouthEast 2]: /images/20220602/8e7be899f6a5445ebe9e7191f6ced19a.png
[SouthEast 3]: /images/20220602/66c9718566c94cfa8ca098486b772a25.png
[SouthEast 4]: /images/20220602/2b63911df42e468f92ceba9d55cd8282.png
[SouthEast 5]: /images/20220602/87f8f58b40c54bc897b1abcca9b44c01.png
[SouthEast 6]: /images/20220602/7edd318ebb7b41bf9452ce697a8ee5f0.png
[SouthEast 7]: /images/20220602/b5f7f3a2bc7547818f7099f6e468a2a0.png
[SouthEast 8]: /images/20220602/ad49391abd8c4a889fdb93fcd3be9e41.png
[SouthEast 9]: /images/20220602/2d38d0649b784b57a5f904e6d8224e5d.png
[WaltSmithML]: https://img-blog.csdn.net/20171208213028218?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2hlbmdjaGVuZzk1NTg4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast
[WaltSmith]: /images/20220602/c8fe8c7cc6cf4e3180138dbd1d639ca2.png