在中国网工作期间整理的一套基于Scrapy框架的分布式爬虫项目，全自动日抓数据百万

我不是女神ヾ 2022-08-28 13:56 26阅读 0赞

### 文章目录 ###

*  内容介绍
 *  数据采集项目
 *  Scrapy 爬虫框架使用
 *  Gerapy 爬虫管理框架

# 内容介绍 #

**中国网** 很多小伙伴不知道，是和 **新华网、人民网** 齐名的国家级的新闻媒体机构，有幸参与了863课题的舆情项目，现在很多的企业舆情项目都是基于这套内容衍生出来的。并且基于舆情项目衍生出来的很多项目都会涉及到数据采集工作，简单来说就是基于现有业务从舆情的内容数据中提取响应的内容。

结合舆情系统的结构复现了一套爬虫数据采集的结构，由于当年的课题比较久远，其中具体的开发内容具体生产方式未知，结合课题的相关内容用Python复现了一套舆情系统供企业的某些项目使用，未来会这套系统内容会更新出来，今天主要说数据采集这块思路和简单功能实现。

**耐心看完，保证你也能会**

# 数据采集项目 #

总体的项目复现构思基于 **Scrapy框架（爬虫框架） + Gerapy 框架（爬虫管理框架）**。实现分布式数据采集每日根据不同的项目采集数据约百万级，这里展示部分实现的内容，有兴趣的小伙伴可以自行尝试更大规模的数据采集。

**数据准备**

准备目标网址，由于是项目指定的范围，涉及的内容仅限于新闻数据，需要整理一个数据源数据库，将部分内容截取到Excel表中，这样。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16]  
数据透视简单进行数据统计。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 1]

# Scrapy 爬虫框架使用 #

基于框架就是采用一种通用的方式进行数据采集，将可是使用同样的脚本进行爬虫的内容整理到一起，换句话说普通的那种静态页面直接使用一套通用的算法采集新闻的标题和链接，以及访问日期获取文章正文。

**items.py 定义抓取字段**

class NewsDataItem(scrapy.Item):
        title = scrapy.Field()  # 新闻标题
        url = scrapy.Field()  # 原文链接
        publishTime = scrapy.Field()  # 发布时间
        content = scrapy.Field()  # 文章正文
        new_type = scrapy.Field()  # 新闻类别
        web_name = scrapy.Field()  # 网站名称
        channel_name = scrapy.Field()  # 频道名称

**middlewares.py 随机更换header和IP代理**

# 添加Header和IP类
    from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
    from scrapy.utils.project import get_project_settings
    
    settings = get_project_settings()
    
    
    class RotateUserAgentMiddleware(UserAgentMiddleware):
        def process_request(self, request, spider):
            referer = request.url
            if referer:
                request.headers["referer"] = referer
            USER_AGENT_LIST = settings.get('USER_AGENT_LIST')
            user_agent = random.choice(USER_AGENT_LIST)
            if user_agent:
                request.headers.setdefault('user-Agent', user_agent)
                print(f"user-Agent:{ user_agent}")
    
    
    # 添加随机更换IP代理类（根据实际IP代理情况进行修改获取方式和更改方式）
    import random
    import sys
    import requests
    
    sys.path.append('.')
    
    class MyProxyMiddleware(object):
        def process_request(self, request, spider):
            url = "这里放购买的代理API地址，进行解析后使用代理访问"
            html = requests.get(url).text
            ip_list = html.split("\r\n")[:-1]
            proxy = random.choice(ip_list)
            request.meta['proxy'] = 'http://' + proxy

**pipelines.py 数据存储设置**

class NewsDataPipeline(object):
        def __init__(self):
            host = settings["MONGODB_HOST"]
            port = settings["MONGODB_PORT"]
            dbname = settings["MONGODB_DATABASE"]
            collection = settings["MONGODB_COLLECTION"]
            username = settings["MONGODB_USER"]
            password = settings["MONGODB_PASSWORD"]
            # 创建MONGODB数据库链接
            client = pymongo.MongoClient(host=host, port=port, username=username, password=password)
            # 指定数据库
            db = client[dbname]
            # 存放数据的数据库表名
            self.post = db[collection]
    
        def process_item(self, item, spider):
            data = dict(item)
            # 数据写入
            self.post.insert(data)
            return item

**settings.py 常规配置添加数据库信息和headers**

# 添加 设置浏览器Header设置，不够用自行添加
    USER_AGENT_LIST = [
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
    	......
    ]
    
    MONGODB_HOST = "localhost"  # 数仓IP
    MONGODB_PORT = 27017  # 数仓端口号
    MONGODB_DATABASE = ""  # 数仓数据库
    MONGODB_COLLECTION = ""  # 数仓数据表单
    MONGODB_USER = ""  # 数仓验证的用户名
    MONGODB_PASSWORD = ""  # 数仓验证的用户密码

**spider.py 主程序抓取**

这里使用的 **gerapy\_auto\_extractor的extract\_list** 直接解析列表页面。

# -*- coding: utf-8 -*-
    import scrapy
    from News_Data.items import NewsDataItem
    import pandas as pd
    from .parse_detail import ProcessContent
    from urllib import parse
    from scrapy.utils.project import get_project_settings
    from gerapy_auto_extractor.extractors import *
    
    settings = get_project_settings()
    
    
    class NewsDataSpider(scrapy.Spider):
        name = 'News_Data'
        allowed_domains = []
    
        def start_requests(self):
            # 读取数据
            df = pd.read_excel("../../我的数据抓取列表.xlsx", sheet_name="数据列表")
            # 数据打乱
            df = df.sample(frac=1.0).reset_index(drop=True)
    
            for i in range(len(df)):
                data = df.iloc[i].to_dict()
                print(data)
                # 判断常规网页
                if data['动态加载url'] == '-' and data['url 参数'] == '-':
                    yield scrapy.Request(
                        url=data["网址"], meta={ 'data': data, }, callback=self.parse_static
                    )
    
        def parse_static(self, response):
            data = extract_list(response.text)
            for each in range(len(data)):
                item = NewsDataItem()
                item['title'] = data[each]["title"].strip()
                item['url'] = parse.urljoin(response.url, data[each]["url"])
                item['publishTime'] = ""
                item["new_type"] = response.meta["data"]["类别"]
                item['web_name'] = response.meta["data"]["网站名称"]
                item['channel_name'] = response.meta["data"]["网站频道"]
    
                yield scrapy.Request(item['url'], callback=self.parse_detail, meta={ 'item': item})
    
        # 具体内容在parse_detail.py中
        def parse_detail(self, response):
            item = ProcessContent(self, response)
            yield item

**detail.py 数据详情**

这里使用的 **gerapy\_auto\_extractor的extract\_detail** 直接解析页面。

def ProcessContent(self, response):
        # 设置详情页的内容
        item = response.meta['item']
    
        data = extract_detail(response.text)
    
        # 处理详情页的时间,如果始终没有获取到时间默认当天日期
        if data["datetime"] is None:
            item['publishTime'] = DateTimeProcess_Str(item['publishTime'])
        else:
            item['publishTime'] = DateTimeProcess_Str(data["datetime"])
    
        # 处理详情页带格式，这里整个页面进行抓取,判断每个页面具体内容的样式
        item['content'] = ""
    	if item['web_name'] == "xxxxxxx":
    		......
        elif item['web_name'] == "中国质量新闻网":
           if 'class="content"' in response.text and len(None2Str(item['content'])) < 5:
               item['content'] = response.xpath('//div[@class="content"]').extract_first()
           if 'class="pageLeft fl"' in response.text and len(None2Str(item['content'])) < 5:
               item['content'] = response.xpath('//div[@class="pageLeft fl"]').extract_first()
       # 通用的方法页面数据无法采集默认抓取整个页面
       if len(item['content']) < 5:
           item['content'] = response.xpath('//body').extract_first()

然后你会发现最后判断文本长度如果不在现有样式中，直接整个页面全抓，然后只需要在数据库中find关键字 body，查看样式添加里面的内容就可以了。

**采集结果**  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 2]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 3]

# Gerapy 爬虫管理框架 #

这个更简单了，之前文章写过直接跳转过去自己看吧，实现分布式的数据采集。

[「Gerapy爬虫管理框架」win & linux端分布式部署你的Scrapy爬虫脚本][Gerapy_win _ linux_Scrapy]

整齐内容其实很简单，只是踩着巨人的肩膀动动脑子复现一下这个事情，就很容易了，赶紧动手试试吧。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/db0a555ece714e0abb264f713c1acee5.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/bfe917a17c0243d1b4f761cf19b37633.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/3222cbcbdd5e4944a5aafd3d48421a31.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/746311fe41794e7681f2c896bf42a793.png
[Gerapy_win _ linux_Scrapy]: https://blog.csdn.net/qq_20288327/article/details/107971086