Python爬虫之Scrapy天气预报实战

柔光的暖阳◎ 2023-07-17 07:27 8阅读 0赞

# 目的 #

写一个真正意义上一个爬虫，并将他爬取到的数据分别保存到txt、json、已经存在的mysql数据库中。  
PS注意：很多人学Python过程中会遇到各种烦恼问题，没有人解答容易放弃。为此小编建了个Python全栈免费答疑.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，不懂的问题有老司机解决里面还有最新Python实战教程免非下,，一起相互监督共同进步！

## 目标分析： ##

这次我们要爬的是 中国天气网：[http://www.weather.com.cn/][http_www.weather.com.cn]  
随便点开一个城市的天气比如合肥： [http://www.weather.com.cn/weather/101220101.shtml][http_www.weather.com.cn_weather_101220101.shtml]  
我们要爬取的就是图中的：合肥七天的前期预报：

![format_png][]

## 数据的筛选： ##

我们使用chrome开发者工具，模拟鼠标定位到相对应位置:

![format_png 1][]

可以看到我们需要的数据，全都包裹在

里  
我们用bs4、xpath、css之类的选择器定位到这里，再筛选数据就行。  
本着学习新知识的原则，文中的代码将会使用xpath定位。  
这里我们可以这样：

response.xpath('//ul[@class="t clearfix"]')

## Scrapy 框架的实施： ##

1.  创建scrapy项目和爬虫：
    
        $ scrapy startproject weather
        $ cd weather
        $ scrapy genspider HFtianqi www.weather.com.cn/weather/101220101.shtml
    
    这样我们就已经将准备工作做完了。  
    看一下当前的目录：
    
        .
        ├── scrapy.cfg
        └── weather
            ├── __init__.py
            ├── __pycache__
            │   ├── __init__.cpython-36.pyc
            │   └── settings.cpython-36.pyc
            ├── items.py
            ├── middlewares.py
            ├── pipelines.py
            ├── settings.py
            └── spiders
                ├── HFtianqi.py
                ├── __init__.py
                └── __pycache__
                    └── __init__.cpython-36.pyc
        
        4 directories, 11 files
2.  编写items.py:
    
    这次我们来先编写items,十分的简单，只需要将希望获取的字段名填写进去：
    
        import scrapy
            
        class WeatherItem(scrapy.Item):
            # define the fields for your item here like:
            # name = scrapy.Field()
            date = scrapy.Field()
            temperature = scrapy.Field()
            weather = scrapy.Field()
            wind = scrapy.Field()
3.  编写Spider:
    
    这个部分使我们整个爬虫的核心!!
    
    主要目的是：
    
    将Downloader发给我们的Response里筛选数据，并返回给PIPELINE处理
    
    下面我们来看一下代码：
    
        # -*- coding: utf-8 -*-
        import scrapy
            
        from weather.items import WeatherItem
            
        class HftianqiSpider(scrapy.Spider):
            name = 'HFtianqi'
            allowed_domains = ['www.weather.com.cn/weather/101220101.shtml']
            start_urls = ['http://www.weather.com.cn/weather/101220101.shtml']
            
            def parse(self, response):
                '''
                筛选信息的函数：
                date = 日期
                temperature = 当天的温度
                weather = 当天的天气
                wind = 当天的风向
                '''
            
                # 先建立一个列表，用来保存每天的信息
                items = []
            
                # 找到包裹着天气信息的div
                day = response.xpath('//ul[@class="t clearfix"]')
            
                # 循环筛选出每天的信息：
                for i  in list(range(7)):
                    # 先申请一个weatheritem 的类型来保存结果
                    item = WeatherItem()
                
                    # 观察网页，并找到需要的数据
                    item['date'] = day.xpath('./li['+ str(i+1) + ']/h1//text()').extract()[0]
            
                    item['temperature'] = day.xpath('./li['+ str(i+1) + ']/p[@class="tem"]/i/text()').extract()[0]
                    
                    item['weather'] = day.xpath('./li['+ str(i+1) + ']/p[@class="wea"]/text()').extract()[0]
                    
                    item['wind'] = day.xpath('./li['+ str(i+1) + ']/p[@class="win"]/em/span/@title').extract()[0] + day.xpath('./li['+ str(i+1) + ']/p[@class="win"]/i/text()').extract()[0]
                    
                    items.append(item)
                    
                return items
4.  编写PIPELINE：
    
    我们知道，pipelines.py是用来处理收尾爬虫抓到的数据的，  
    一般情况下，我们会将数据存到本地：
    
     *  文本形式： 最基本的存储方式
     *  json格式 ：方便调用
     *  数据库： 数据量比较大时选择的存储方式
    
    TXT（文本）格式：
    
        import os
        import requests
        import json
        import codecs
        import pymysql
            
        class WeatherPipeline(object):
            def process_item(self, item, spider):
            
                print(item)
                # print(item)
                # 获取当前工作目录
                base_dir = os.getcwd()
                # 文件存在data目录下的weather.txt文件内，data目录和txt文件需要自己事先建立好
                filename = base_dir + '/data/weather.txt'
            
                # 从内存以追加的方式打开文件，并写入对应的数据
                with open(filename, 'a') as f:
                    f.write(item['date'] + '\n')
                    f.write(item['temperature'] + '\n')
                    f.write(item['weather'] + '\n')
                    f.write(item['wind'] + '\n\n')
            
                return item
    
    json格式数据：
    
    我们想要输出json格式的数据，最方便的是在PIPELINE里自定义一个class：
    
        class W2json(object):
            def process_item(self, item, spider):
                '''
                讲爬取的信息保存到json
                方便其他程序员调用
                '''
                base_dir = os.getcwd()
                filename = base_dir + '/data/weather.json'
            
                # 打开json文件，向里面以dumps的方式吸入数据
                # 注意需要有一个参数ensure_ascii=False ，不然数据会直接为utf编码的方式存入比如:“/xe15”
                with codecs.open(filename, 'a') as f:
                    line = json.dumps(dict(item), ensure_ascii=False) + '\n'
                    f.write(line)
            
                return item
    
    数据库格式（mysql）:
    
    Python对市面上各种各样的数据库的操作都有良好的支持，  
    但是现在一般比较常用的免费数据库mysql。
    
     *  在本地安装mysql：
        
        linux和mac都有很强大的包管理软件，如apt，brew等等
        
        window 可以直接去官网下载安装包。
        
        由于我是Mac，所以我是说Mac的安装方式了。
        
            $ brew install mysql
        
        在安装的过程中，他会要求你填写root用户的密码，
        
        这里的root并不是系统层面上的超级用户，是mysql数据库的超级用户。  
        安装完成后mysql服务是默认启动的，  
        如果重启了电脑，需要这样启动（mac）：
        
            $ mysql.server start
     *  登录mysql并创建scrapy用的数据库:
        
            # 登录进mysql
            $ mysql -uroot -p
            
            # 创建数据库：ScrapyDB ,以utf8位编码格式，每条语句以’；‘结尾
            CREATE DATABASE ScrapyDB CHARACTER SET 'utf8';
            
            # 选中刚才创建的表：
            use ScrapyDB；
            
            # 创建我们需要的字段：字段要和我们代码里一一对应，方便我们一会写sql语句
            CREATE TABLE weather(
            id INT AUTO_INCREMENT,
            date char(24),
            temperature char(24),
            weather char(24),
            wind char(24),
            PRIMARY KEY(id) )ENGINE=InnoDB DEFAULT CHARSET='utf8'
        
        来看一下weather表长啥样：
        
            show columns from weather
            或者：desc weather
     *  安装Python的mysql模块：
        
            pip install pymysql
        
        最后我们编辑与一下代码：
        
            class W2mysql(object):
                def process_item(self, item, spider):
                    '''
                    将爬取的信息保存到mysql
                    '''
            
                    # 将item里的数据拿出来
                    date = item['date']
                    temperature = item['temperature']
                    weather = item['weather']
                    wind = item['wind']
            
                    # 和本地的scrapyDB数据库建立连接
                    connection = pymysql.connect(
                        host='127.0.0.1',  # 连接的是本地数据库
                        user='root',        # 自己的mysql用户名
                        passwd='********',  # 自己的密码
                        db='ScrapyDB',      # 数据库的名字
                        charset='utf8mb4',     # 默认的编码方式：
                        cursorclass=pymysql.cursors.DictCursor)
            
                    try:
                        with connection.cursor() as cursor:
                            # 创建更新值的sql语句
                            sql = """INSERT INTO WEATHER(date,temperature,weather,wind)
                                    VALUES (%s, %s, %s, %s)"""
                            # 执行sql语句
                            # excute 的第二个参数可以将sql缺省语句补全，一般以元组的格式
                            cursor.execute(
                                sql, (date, temperature, weather, wind))
            
                        # 提交本次插入的记录
                        connection.commit()
                    finally:
                        # 关闭连接
                        connection.close()
            
                    return item
5.  编写Settings.py
    
    我们需要在Settings.py将我们写好的PIPELINE添加进去，  
    scrapy才能够跑起来
    
    这里只需要增加一个dict格式的ITEM\_PIPELINES，  
    数字value可以自定义，数字越小的优先处理
    
        BOT_NAME = 'weather'
        
        SPIDER_MODULES = ['weather.spiders']
        NEWSPIDER_MODULE = 'weather.spiders'
        
        ROBOTSTXT_OBEY = True
        
        ITEM_PIPELINES = {
           'weather.pipelines.WeatherPipeline': 300,
           'weather.pipelines.W2json': 400,
           'weather.pipelines.W2mysql': 300,
        }
6.  让项目跑起来：
    
        $ scrapy crawl HFtianqi
7.  结果展示:
    
    文本格式：
    
     
    
    ![format_png 2][]
    
    json格式：
    
     
    
    ![format_png 3][]
    
    数据库格式：
    
     
    
    ![format_png 4][]

这次的例子就到这里了，主要介绍如何通过自定义PIPELINE来将爬取的数据以不同的方式保存。注意：很多人学Python过程中会遇到各种烦恼问题，没有人解答容易放弃。为此小编建了个Python全栈免费答疑.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，不懂的问题有老司机解决里面还有最新Python实战教程免非下,，一起相互监督共同进步！

*本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。*

[http_www.weather.com.cn]: http://www.weather.com.cn/
[http_www.weather.com.cn_weather_101220101.shtml]: http://www.weather.com.cn/weather/101220101.shtml
[format_png]: /images/20230528/c746f3df55a348328ab0da06436801a1.png
[format_png 1]: /images/20230528/4fcc063887f4433b99030ae644bd0f8b.png
[format_png 2]: /images/20230528/fdb9991907c947f3a2e91471a5072bc5.png
[format_png 3]: /images/20230528/144ccbe6484f4d28a3d17a511bb7cca3.png
[format_png 4]: /images/20230528/8dbb87facf8b4f87b435794fc82cb8ad.png