数仓、数据湖、数据中台介绍

Love The Way You Lie 2022-12-29 14:23 213阅读 0赞

*关于数仓、数据集市、数据湖、大数据平台以及数据中台，看到一篇从事21年的大佬写的文章分享，将这几者的本质和区别，结合自身经验，讲得偏僻入理，于是转来分享，希望对大家都有所感悟！*

> 作者是21年IT工作经验，IT老兵一枚，关注领域包括证券、航空、制造、电信、电网等。在数据库开发和优化、数据仓库、系统架构、大中型项目管理、数据治理、数据分析、大数据方 面有一定研究。
> 
> 参与移动集团经营分析系统5.0、企业级大数据平台1.0相关规范的编写和审计，中移动集团大数据专家。

*全文共5000字，读完需要 14分钟！*

本人断断续续从事数据仓库约有五六年经验，在移动公司前三年是负责数据仓库项目实施，后四年开发搞大数据平台，见证了从传统数据仓库转型到大数据平台的全历程，见证了大数据平台从0到1的全部过程，包括第一个MPP数据集市、第一个Hadoop集群项目、第一个流式数据处理项目，第一个完整的大数据平台的融合和构建，混搭式大数据平台的融合构建，大数据平台的迁移等等，我所经历的大数据平台从规模说大不大说小不小，每天处理数据量将近20T（实时处理月10T左右），总集群约300台（其中Hadoop节点约200台），总容量约8P，实际使用容量约5P；包括了从数据仓库到大数据平台数据模型的重构，数据模型的拓展；也包括了大数据平台提供各种对内应用的规划，和向外提供大数据应用。因此对数据仓库和大数据平台的优缺点、各自存在的问题、疑惑、发展方向，也算有一定的认知，包括对新生的数据中台的发展方向，结合自己过往的经验，谈谈自己的一些想法。

**      **** 什么是数据中台？**

说实在的，互联网是制造新名词的地方，现在各种新名词层出不穷，顶层的有数字城市、智慧地球、智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台；平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等，总之是你方唱罢他登场，各种概念满天飞…

在比拼新经济的过程中，其实比拼的是流量也就是用户，但流量不等于用户，用户也不完全等同于流量；有了流量和用户，就等于比拼了对用户的话语权。各种互联网概念也是如此，单纯从传统的数据仓库或是大数据平台而言，金融或通信运营商在数据治理、数据管理、企业模型、应用效能、高可靠性上做的绝对不比BAT差的，但这些行业有着国企的内敛、同时承担了太多的安全、隐私、稳定要求，空有用户和数据，却很难对外发挥应有的作用，导致在整个信息技术行业内的话语权不高；互联网公司在对数据使用的灵活性、技术的前瞻性、经济效益的引导性、适度容错方面做的远远超出其他行业，所以行业之间的相互吸收和借鉴也是值得探讨的。

新名词的推出，要被大众所能接受，在背后是要有话语权支撑的，而目的当然只有利益了，也不排除个别技术人员自己美好的想法和初衷。

回到正文，不管怎么说，数据中台这个概念已逐步火了起来，但数据中台是什么？

1、数据中台是聚合和治理跨域数据，将数据抽象封装成服务，提供给前台以业务价值的逻辑概念。

2、数据中台是一套可持续“让企业的数据用起来”的机制，一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建一套持续不断把数据变成资产并服务于业务的机制。

3、数据中台连接数据前台和后台，突破数据局限，为企业提供更灵活、高效、低成本的数据分析挖掘服务，避免企业为满足具体某部门某种数据分析需求而投放大量高成本、重复性的数据开发成本。

4、数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。

5、数据中台，包括平台、工具、数据、组织、流程、规范等一切与企业数据资产如何用起来所相关的。

以上概念是从互联网上搜索并拷贝出来的，总的来说中台也好，数据中台也好，还缺乏一个标准的定义，仅从字面上理解，数据中台是解决如何用好数据的问题，既然是概念，数据中台也被赋予了很多扩大的外延，也上升到了数据的采集、计算、存储、加工和数据治理等方面，这就和传统的大数据平台在功能和作用上产生了很大的重叠；而大数据平台又是从数据仓库发展起来的。那到底这三者的关系是怎么样的呢？

**个人认为数据中台就是数据服务化，服务化的核心是数据模型化和服务组件化，服务化的基础是大数据平台。**

**      **** 数据仓库**

数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策和全局信息共享。

所谓主题：是指用户使用数据仓库进行决策时所关心的重点方面，如：收入、客户、销售渠道等；

所谓面向主题，是指数据仓库内的信息是按主题进行组织的，而不是像业务支撑系统那样是按照业务功能进行组织的。

所谓集成：是指数据仓库中的信息不是从各个业务系统中简单抽取出来的，而是经过一系列加工、整理和汇总的过程，因此数据仓库中的信息是关于整个企业的一致的全局信息。

所谓随时间变化：是指数据仓库内的信息并不只是反映企业当前的状态，而是记录了从过去某一时点到当前各个阶段的信息。通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。

**数据仓库的主题建模思想是：**

1. 面向主题：采用范式模型理论中的主题划分方法对业务数据进行分类。

2. 一致性保证：采用维度模型理论中的总线结构思想，建立统一的一致性维度表和一致性事实表来保证一致性。

3. 数据质量保证：无论范式建模还是维度建模都非常重视数据质量问题，综合使用两个理论中的方法保证数据质量。

4. 效率保证：合理采取维度退化、变化维、增加冗余等方法，保证数据的计算和查询效率。

**中国移动的经营分析系统数据仓库**

基础数据反映了省级经营分析系统涉及的中国移动核心数据，包括参与人、事件、服务、资源、帐务、营销和财务七大主题域，并依据实体-关系理论，遵照第三范式进行建模。

汇总数据来源于对基础数据中的常用指标数据进行轻量汇总，并对关键业务实体进行标准化处理。汇总数据服务于信息子层，用以减少数据转换步骤，提高数据提供的效率。

信息子层是经营分析系统加工后的结果数据，通过数据封装服务，对外提供统一的信息视图。

汇总数据逻辑模型体现了基础数据中部分数据的轻度汇总。汇总数据逻辑模型的设计采用自底而上和自顶向下两种方法相结合，首先将清单等汇总形成清单汇总，然后对应信息子层的数据需求，设计个人客户、集团客户、他网客户等主题的汇总。

信息子层逻辑模型的设计采用自顶向下方法，通过分析数据封装和业务规范的需求，形成基础数据视图（如KPI、报表）、个人客户、集团客户、家庭客户、他网客户、产品、渠道、终端、校园客户、垃圾短信客户、网络和营销资源统一视图。信息子层逻辑模型的设计采用自顶向下方法，通过分析数据封装和业务规范的需求，形成基础数据视图（如KPI、报表）、个人客户、集团客户、家庭客户、他网客户、产品、渠道、终端、校园客户、垃圾短信客户、网络和营销资源统一视图。

**数据集市是？**

数据集市将数据仓库中的数据按照不同角度进行组织和存储，主要面向地市分公司或者特定业务部门、特定需求的业务，建立相应的应用专题。数据集市的特点是数据粒度较粗，数据采取星型或雪花型结构，较少保留历史数据，便于访问分析和快速查询。数据集市具有面向特定用户群、合理的查询响应时间、便于扩展的特点。数据集市目前细分为地市数据集市和专业数据集市，其中专业数据集市又分为增值业务数据集市、集团客户数据集市和互联网数据集市。

数据集市通常是数据仓库的子集；它等数据通常来自数据仓库 – 尽管还可以来自其他来源。数据集市的数据专门针对特定的用户社区，以便他们能够快速找到所需的数据。通常，数据保存在那里用于特定用途，例如财务分析。

**数据湖是什么？**

数据湖（Data Lake）是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。数据湖是以其自然格式存储的数据的系统或存储库，通常是对象blob或文件。数据湖通常是企业所有数据的单一存储，包括源系统数据的原始副本，以及用于报告、可视化、分析和机器学习等任务的转换数据。数据湖可以包括来自关系数据库（行和列）的结构化数据，半结构化数据（CSV，日志，XML，JSON），非结构化数据（电子邮件，文档，PDF）和二进制数据（图像，音频，视频）。如果没做好企业数据模型构建，我个人认为数据湖是懒人数仓。

**      **** 大数据平台**

大数据平台是什么？

企业级大数据平台实现结构化、半结构化和非结构化数据统一存储计算功能，通过数据封装提供服务功能，提供自助报表工具，面向市场、网络以及企业外部提供服务。

*  数据采集中心：负责采集多样化数据。
 *  数据计算存储中心：负责对数据进行加工、转换和汇总等工作，并将数据加载到不同的存储系统中。
 *  开放共享中心：统一数据服务接口。
 *  数据管理中心：负责系统数据的元数据、数据质量、数据模型和数据安全管理。
 *  运营管控中心：负责系统运行任务的编排、调度，以及设备、平台和应用的全景运维监控视图。

随着平台厂家和应用厂家的分离，应用的凸显，为了实现数据价值，以数据应用为中心构建企业数据模型，为实现内外部应用支撑，又建设了开放共享平台，提供数据服务和Open API服务，为了支持多应用厂家协作开发，又提供了多租户管理，安全管理、数据目录管理。但在构建过程上缺乏标准化，大家看看是不是这就是数据中台的雏形。

**      **** 什么是数据中台？**

数据中台是数据服务工厂。

数据中台对于业务的价值是“加速从数据到价值的过程，提高企业的响应能力“。

数据中台对是聚合和治理跨域数据，将数据抽象封装成服务，提供给前台以业务价值的逻辑概念。

![图片][1a63b688a0ae6a336b20d2afb82a9ee6.png]

后文是对数据仓库、大数据平台、数据中台的一些总结性的架构材料，也是对自己这些年来的一些汇总和思考吧，看懂了前面的文字，后面的各种架构图也就无需赘述了。

**数据仓库硬件架构**

数据仓库包括了文件服务器、调度服务器、数据仓库服务器、数据集市服务器、邮件服务器、4A认证服务器、应用服务器、数据备库，后来发展到分布式调度、MPP，都是一点点演进出来的。

![图片][ff8a3e58e15ea0f90a91a553796b0163.png]

**数据仓库功能架构**

![图片][40fb0f01b0430fd2dc36bb0fe3088811.png]

**数据仓库技术架构**

![图片][efc154d1f1b12abbdac43bb45ba2229b.png]

![图片][c6cd081aab7344bd453b48d3241715ef.png]

**第一个Hadoop平台硬件架构**

每天接入5T上网信令

1、小机+数据库计算存储能力不足

2、小机+数据库扩容成本太高

3、单机文件采集吞吐量不足

主要是为了解决海量离线数据的计算和存储，在Hadoop集群中实现明细数据、汇总数据存储，在mysql中实现报表数据存储。

Hadoop管理和存储集群：负责海量数据存储和计算

分布式文件采集集群：负责海量数据的文件采集

分布式ETL调度集群：负责海量数据的ETL编排和调度

应用服务器：负责应用系统的构建

MySQL服务器：负责报表层数据的存储。

![图片][5d2178509defdd94f8f23ae9a01337d7.png]

**第一个流式处理平台硬件架构**

每天接入7T上网信令+5T位置信令

1、对信令的实时采集

2、对信令的实时计算

3、对信令的实时事件捕捉

主要是为了解决海量实时数据的流式采集和计算，在Hadoop集群中实现明细数据、汇总数据存储，在mysql中实现报表数据存储；并通过实时事件处理集群实现流式事件的匹配。

Kafka集群：负责将信令数据或数据库日志数据转入消息队列供下游消费

实时事件处理集群：负责获取消息队列数据，并进行数据实时统计和实时计算

实时服务集群：负责将实时事件数据放入redis缓存中，并结合静态数据进行结果输出。

**▍大数据平台系统规划**

![图片][e6d2da2aba25a26d518e472fb84d2c02.png]

![图片][ecba7ae53a13d8f34a31d87750ab13fe.png]

![图片][c52a3e925053826ad94b6173cecbf6a0.png]

![20201223122844152.gif][]

![图片][f7cd7e36c06c4560ae476a6a85012a08.png]

![图片][5a5bbdb774ecadd7adbf0c2fc819d799.png]

![图片][5be1ab3c84740ac159bd0dd357873f1c.png]

![图片][2f7fbb580070c39036d3f98a72574b65.png]

![图片][7dea85f3270023ae7c123dac87d52a11.png]

![图片][37b88b1a8d162c95f3b9f7d280b6668d.png]

![图片][9c9ab8b5b34517e1e90251f3e5ee0f32.png]

![图片][c22d424831f0584046fba0b92869f5c3.png]

![图片][b8b339c7d60696c37b53a57986f3dea8.png]

![图片][bdddf470391540741a5fb1c205933eba.png]

![图片][58a6f6978f383593e16f2803403ff55f.png]

▍数据中台

![图片][7e4b28c7ff953247ab80ad866c9ffb39.png]

**结论**

数据仓库实现了企业数据模型的构建，大数据平台解决了海量、实时数据的计算和存储问题，数据中台要解决什么呢？数据如何安全的、快速的、最小权限的、且能够溯源的被探测和快速应用的问题。

数据中台不应该被过度的承载平台的计算、存储、加工任务，而是应该放在解决企业逻辑模型的搭建和存储、数据标准的建立、数据目录的梳理、数据安全的界定、数据资产的开放，知识图谱的构建，通过一系列工具、组织、流程、规范，实现数据前台和后台的连接，突破数据局限，为企业提供更灵活、高效、低成本的数据分析挖掘服务，避免企业为满足具体某部门某种数据分析需求而投放大量高成本、重复性的数据开发成本。

厚平台，大中台，小前台；没有基础厚实笨重的大数据平台，是不可能构建数据能力强大、功能强大的数据中台的；没有大数据中台，要迅速搭建小快灵的小前台也只是理想化的。

我想这才是数据中台的初衷。

[1a63b688a0ae6a336b20d2afb82a9ee6.png]: /images/20221120/9bea979ddc34432580c0140036c59641.png
[ff8a3e58e15ea0f90a91a553796b0163.png]: /images/20221120/734aed620d364810aa6ad97fa00ebff1.png
[40fb0f01b0430fd2dc36bb0fe3088811.png]: /images/20221120/6c2fe6cb59c747358c5f0a02b4cd7fbe.png
[efc154d1f1b12abbdac43bb45ba2229b.png]: /images/20221120/bced3e9dc7e94800b941d732dff22f30.png
[c6cd081aab7344bd453b48d3241715ef.png]: /images/20221120/bf836edcc74f4b018858125bd3a92649.png
[5d2178509defdd94f8f23ae9a01337d7.png]: /images/20221120/b79e6a86b74546718e4a20f3551f9e95.png
[e6d2da2aba25a26d518e472fb84d2c02.png]: /images/20221120/1e9ed97bc1a049639c5d9dd09cb9fa47.png
[ecba7ae53a13d8f34a31d87750ab13fe.png]: /images/20221120/d56d14ef23ad463ba22939b6c37b4066.png
[c52a3e925053826ad94b6173cecbf6a0.png]: /images/20221120/057adfea4b1441b5a683e1bef949c7f2.png
[20201223122844152.gif]: /images/20221120/e5e9147f164743e3a67187200019e7cb.png
[f7cd7e36c06c4560ae476a6a85012a08.png]: /images/20221120/aa0af7b8b57744a7adb5656c0e20f641.png
[5a5bbdb774ecadd7adbf0c2fc819d799.png]: /images/20221120/a2f9e0c3c1bd4c25bc018c6594eb1cdd.png
[5be1ab3c84740ac159bd0dd357873f1c.png]: /images/20221120/5558442d40aa4f25bcf611ce4e2d95ee.png
[2f7fbb580070c39036d3f98a72574b65.png]: /images/20221120/cdaed0a192db45f5b6a9e244cbd0aa31.png
[7dea85f3270023ae7c123dac87d52a11.png]: /images/20221120/a3ad9fa2a1af41d09ea600447746fb46.png
[37b88b1a8d162c95f3b9f7d280b6668d.png]: /images/20221120/ff1d7be3f849473cb71221b8a4cc7ea8.png
[9c9ab8b5b34517e1e90251f3e5ee0f32.png]: /images/20221120/972094c606ef4992aa4f2ec5f60e8629.png
[c22d424831f0584046fba0b92869f5c3.png]: https://img-blog.csdnimg.cn/img_convert/c22d424831f0584046fba0b92869f5c3.png
[b8b339c7d60696c37b53a57986f3dea8.png]: https://img-blog.csdnimg.cn/img_convert/b8b339c7d60696c37b53a57986f3dea8.png
[bdddf470391540741a5fb1c205933eba.png]: https://img-blog.csdnimg.cn/img_convert/bdddf470391540741a5fb1c205933eba.png
[58a6f6978f383593e16f2803403ff55f.png]: https://img-blog.csdnimg.cn/img_convert/58a6f6978f383593e16f2803403ff55f.png
[7e4b28c7ff953247ab80ad866c9ffb39.png]: https://img-blog.csdnimg.cn/img_convert/7e4b28c7ff953247ab80ad866c9ffb39.png