使用scrapy抓取股票代码

灰太狼 2022-03-15 03:50 145阅读 0赞

文章来源：[mypython.me][]

源码地址：[github.com/geeeeeeeek/…][github.com_geeeeeeeek]

抓取工具：scrapy

#### scrapy介绍 ####

[Scrapy][]是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

安装scrapy

pip install Scrapy
    复制代码

#### 抓取步骤 ####

选择一个网站 --> 定义数据 --> 编写spider

首先使用scrapy创建一个项目

scrapy startproject tutorial
    复制代码

1.  选择一个网站

这里我们选择的是东方财富网的股票代码页面：[quote.eastmoney.com/stocklist.h…][quote.eastmoney.com_stocklist.h]

1.  定义要抓取的数据

我们需要抓取股票的代码id，因此只需要定义stock\_id

class StockItem(scrapy.Item):
        stock_id = scrapy.Field()
    复制代码

1.  编写spider

class StockSpider(scrapy.Spider):
        name = 'stock'
    
        def start_requests(self):
            url = 'http://quote.eastmoney.com/stocklist.html'
            yield Request(url)
    
        def parse(self, response):
            item = StockItem()
            print "===============上海================"
            stocks_sh = response.css('div#quotesearch ul li a[href*="http://quote.eastmoney.com/sh"]::text')
            for stock in stocks_sh:
                item['stock_id'] = 's_sh' + re.findall('\((.*?)\)', stock.extract())[0]
                yield item
    
            print "===============深圳================"
            stocks_sz = response.css('div#quotesearch ul li a[href*="http://quote.eastmoney.com/sz"]::text')
            for stock in stocks_sz:
                item['stock_id'] = 's_sz' + re.findall('\((.*?)\)', stock.extract())[0]
                yield item
    
    复制代码

玄机尽在`response.css('div#quotesearch ul li a[href*="http://quote.eastmoney.com/sh"]::text’)`，使用了css来过滤自己需要的数据。

运行程序

scrapy crawl stock -o stock.csv
    复制代码

即可生成stock.csv文件

预览如下：

stock_id
    s_sh201000
    s_sh201001
    s_sh201002
    s_sh201003
    s_sh201004
    s_sh201005
    s_sh201008
    s_sh201009
    s_sh201010
    s_sh202001
    s_sh202003
    s_sh202007
    s_sh203007
    s_sh203008
    s_sh203009
    …
    复制代码

如果要查询单个股票的股票行情，可以使用新浪的股票接口：

[hq.sinajs.cn][]

例如

[hq.sinajs.cn/list=s\_sh60…][hq.sinajs.cn_list_s_sh60]

即可得到浪潮软件的股票行情

var hq_str_s_sh600756="浪潮软件,19.790,1.140,6.11,365843,70869";
    复制代码

[mypython.me]: https://link.juejin.im?target=https%3A%2F%2Fmypython.me
[github.com_geeeeeeeek]: https://link.juejin.im?target=https%3A%2F%2Fgithub.com%2Fgeeeeeeeek%2Fscrapy_stock
[Scrapy]: https://link.juejin.im?target=https%3A%2F%2Fscrapy-chs.readthedocs.io%2Fzh_CN%2F0.24%2Fintro%2Foverview.html
[quote.eastmoney.com_stocklist.h]: https://link.juejin.im?target=http%3A%2F%2Fquote.eastmoney.com%2Fstocklist.html
[hq.sinajs.cn]: https://link.juejin.im?target=http%3A%2F%2Fhq.sinajs.cn
[hq.sinajs.cn_list_s_sh60]: https://link.juejin.im?target=http%3A%2F%2Fhq.sinajs.cn%2Flist%3Ds_sh600756