python3利用Scrapy实现爬虫--学习笔记

浅浅的花香味﹌ 2022-05-28 04:05 211阅读 0赞

目的：需要从网页上爬去一些信息

工具：Python scrapy

爬去CSDN中博客的阅读排行

第一步：

创建scrapy项目  scrapy startproject XXX

![70][]

第二步：

创建爬虫 进入项目目录 执行 scrapy genspider csdn\_spider csdn.net

![70 1][]

此时的项目结构为

![70 2][]

第三步：

编辑 csdn/item.py 定义我们需要爬取的字段

这里我们爬取 阅读排行前十名的 文章标题和阅读次数

name 为文章标题

total 为阅读数量

import scrapy
    
    
    class CsdnItem(scrapy.Item):
        # define the fields for your item here like:
        name = scrapy.Field()
        total = scrapy.Field()

第四部：

编辑爬虫文件 csdn/spiders/csdn\_spider.py

import scrapy
    from csdn.items import CsdnItem
    
    
    class CsdnSpiderSpider(scrapy.Spider):
        name = 'csdn_spider'
        allowed_domains = ['csdn.net']
        start_urls = ['https://blog.csdn.net/wuchenlhy']
    
        def parse(self, response):
            body = response.xpath('//*[@id="hotarticls"]/ul[2]/li')
            for value in body:
                title = value.xpath('./a/@title').extract()[0]
                total = value.xpath('./span/text()').extract()[0]
                print(title, total)
                item = CsdnItem()
                item['name'] = title
                item['total'] = total
                yield item

第五步：

保存我们爬取到的内容

编辑csdn/settings.py

找到这一段代码取消掉注释

# Configure item pipelines
    # See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
    #ITEM_PIPELINES = {
    #    'csdn.pipelines.CsdnPipeline': 300,
    #}

变成这个样子

# Configure item pipelines
    # See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
    ITEM_PIPELINES = {
       'csdn.pipelines.CsdnPipeline': 300,
    }

之后编辑csdn/pipelines.py

class CsdnPipeline(object):
    
        def process_item(self, item, spider):
            with open('csdn.txt', 'a') as fp:
                fp.write('{0} {1}\n'.format(item['name'], item['total']))

爬虫代码完毕

最后一步：运行爬虫

scrapy crawl csdn\_spider --nolog

![70 3][]

抓取内容我们保存在项目根目录的 csdn.txt中

![70 4][]

[70]: /images/20220528/144d7fe2a2424223ba9629dab22419dd.png
[70 1]: /images/20220528/a559b9d3747e4367bca56b91b70825f2.png
[70 2]: /images/20220528/95de457ec63c42a3ada52cab3fcc6d87.png
[70 3]: /images/20220528/cf1b62d4511a4e3ba8acea77239bcc67.png
[70 4]: /images/20220528/8381a0c29a154437a7ac6b9a4686052c.png