如何区分两列中不同数据_数据仓库、数据中台、数据湖，如何区分？

亦凉 2023-01-02 08:30 180阅读 0赞

![0c867b54ada69f98faef32073e347051.png][] ![1ce3b027bddb111fadb1cf7b0653fc01.png][] ![39712f5a82aadd8448e7a7d93c441b6f.png][] ![7ac7691ccc539f4ceedad5137ca6c43d.png][]

**01**

** 数据仓库**

![40a2c81d7474032b6963a68ae8fdc99d.png][] ![ad61785f78bed5ee30804444606eefa3.png][]

**数据仓库**由数据仓库之父比尔·恩门于1990年提出，英文名称为Data Warehouse，可简写为DW或DWH。

**数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。**它是单个数据存储，出于分析性报告和决策支持目的而创建，为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

**主要特点如下:**

■ **面向主题**，指数据仓库内的信息是按主题进行组织的，而不是像业务系统那样按照功能组织。

■ **集成**，指数据仓库中的信息不是从各个业务系统中简单抽取出来的，而是经过一系列加工、整理和汇总的过程，因此数据仓库中的信息是关于整个企业的一致的全局信息。

■ **数据是基于历史的**，指数据仓库内的信息并不只是反映企业当前的状态，而是记录了从过去某一时点到当前各个阶段的信息。通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。

![2db1a0b368ac147f2b42a3d8f7bc43aa.png][] ![6c183f042c219b5e1ed2aa0f683dfc26.png][]

? **MOLAP**，数据以多维方式存储以减少存储空间并提高查询效率，代表厂商为微软；

?** ROLAP**，数据以关系数据库方式存储，代表厂商为SAP BO。

![222e63ac2487cca2c5881d19796f8069.png][] ![c296ebc8a2eebe248949e88a835589c5.png][] ![8236f730334ce714fc375436d2112294.png][] ![5528ed1c7267954482f2f9df00053c0a.png][]

■ **数据实时性问题：**由于数据仓库是基于历史数据的，无法满足现代企业管理需求，原来数据仓库基于历史数据设计主要是为了提高查询效率，但是现代的硬件技术与分布式计算早已提供了更好的解决方法。

■ **数据共享问题：**数据仓库以主题方式组织数据，比如财务数据、销售数据、采购数据，就使得在解决数据孤岛的问题上又形成了一棵棵“数据烟囱”，各部门在使用数据时，仍然会面临数据不一致问题，且数据仓库与业务之间高度耦合，也使得数据仓库维护工作量很大，修改起来工作量巨大，难以跟上管理变革。

■ **数据分析对业务的支撑不足：**由于数据分析是基于历史数据的分析，而业务是实时的，所以两者之间存在一定的时间差，导致数据分析只能起到对业务的“支撑”作用，而无法起到对业务的“驱动”作用。

**02**

** 数据中台**

![bebae59cd3d04ad2571d211452c7bc51.png][] ![27a63c244a1e0622ff313b08d1f9d1bf.png][] ![28618d903597cb09926cc4d7493471c1.png][] ![e318aad677e3e0c6a9717d388cd3283a.png][] ![0f9133647466dd4f51d5c1da654ffef5.png][] ![5ee918b4477ad48ccff9c144197479b1.png][]

**数据中台主要特点如下：**

■ **数据是“打平”的，**而非主题式，以利于企业从全局角度对数据进行分析。

■** 数据是实时的，**实时不是简单指数据只有最新数据，而是不仅仅有历史数据，也有当前实时数据，当数据发生变化时，如果对历史数据产生影响，历史数据的影响也要能实时反应出来。

■ **数据是可平滑扩充的，**利用分布式存储与分布式计算技术，当数据量扩大或者分析业务扩充时，能够在不影响已有数据的情况下，快速平滑扩充。

■ **数据的变化与使用是可追溯的，**支持血缘追溯功能，当数据发生错误时，可快速定位错误的来源，并且对数据的影响范围与用户清晰，化被动为主动。

■ **数据是以业务语言表示的，**业务人员可直接使用：不同于数据仓库时代数据都是以表和字段等技术语言来表示，数据中台的数据要支撑管理模型，对外以业务语言来表示，能够为业务人员直接使用。

■ **数据与业务松耦合，**当数据发生变化时，不会对业务分析造成困扰，同样当业务需求发生变化时，也不会直接影响到数据中台的数据组织方式。

注意：在数据中台阶段，因习惯性，数据仓库的名称仍然被沿用，此处数据仓库指的是数据中台内存储数据的数据库及数据(包括关系型数据库或分布式数据)。

**03**

** 数据湖**

![ee15ee96c6d81433013d14985f293c53.png][] ![2d6cba5f623cf913585db62e3ccff141.png][] ![29614d316ee19c8bba6c69276a00692d.png][] ![b25d02542823b8084d279031930e5040.png][]

**数据湖的概念最初是由大数据厂商提出的，是一种数据存储的理念。**

**特点如下： **

■ **数据是以原始格式存储，**不同于数据中台的结构化存储方式，数据湖以自然格式存储数据。

■** 数据不需要提前进行定义，**在准备使用数据时，再定义即可，提高了最高的灵活性与可扩展性。

![be66b89acab17a78c3e9bf218a67b1a9.png][] ![2151effe4673082266107d1aceb12592.png][]

目前**Hadoop是最常用的部署数据湖的技术**，所以很多人会误解觉得数据湖就是Hadoop集群，其实数据湖是一个概念，Hadoop是实现这个概念的技术。同样很多厂商跟风宣称支持数据湖，其实只是支持Hadoop而已。

数据湖是一个新的概念，也是一个非常好的理念，但是从一个理念变成一个可以落地的系统时，就**面临着许多问题**：

■ **数据的存储成本：**数据湖把所有数据都存储下来，需要一个前提，就是存储成本很低，在当今数据爆炸的时代，把所有原始数据，不区分价值大小，都存储下来，这在经济上能否被企业接受，存在疑问。

■** 数据的安全：**数据湖中存储着所有的明细数据、日志数据，这些数据的安全怎么保证？怎样划分权限？特别是以非结构化形式存储，权限如何划定？比如一个视频，员工A只能看第一分钟的左半屏的视频，员工B只能看第五分钟的上半屏的视频，当前权限无法支撑。

■ **数据治理、数据质量问题：**数据使用时再对数据进行定义，谁来定义？数据谁来治理，谁来进行数据质量保证？数据发生错误怎样开速定位？

**04**

** 对比与区别**

![ba38cb9e6406ef841c05cedbebe686ad.png][]

**三种概念的直接对比与建议：**

![d69056c711c0c0b37d8240f494be573b.png][] ![521469b88c648dbd6b73c8ebb948491e.png][]

比如企业A有两个客户：“明星公司”、“天天公司”，2019年“明星公司”收购“天天公司”，变成一家公司，新公司名称仍为“群星公司”，现在A企业要对所有客户进行收入分析与客户ABC分析。原始数据如下：

![ac9f29d88723bf1e8a7bda41557c99b5.png][]

**1)如果用数据仓库方式实现，设计如下：**

参照表：(数据处理过程表，不面向最终使用者)

![90c0a42ef7fad0032782b5fb818e4125.png][]

在数据抽取时，会对数据进行标准化处理，结果如下：

**① 如果是在2019年前进行的数据仓库建设，事实表如下：**

![d495caa81a458c2797f6100289d5e10e.png][]

2018年的数据作为“历史数据”，不会被后来发生的事情影响，那么当进行客户增长性分析、客户利润分析及ABC分析时，会得到错误的结果。

**② 如果是在2019年后进行的数据仓库建设，事实表如下：**

![41cb3f22d73f1bbae62df62bc38a773e.png][]

作为历史的“天天公司”在业务人员面前“消失”，但是当进行地区分析时，又会得到错误的结果。

**2)如果用数据中台方式实现，设计如下：**

参照表(对业务人员开放)：

![044942520437ad8cb983d13e0a7d750a.png][]

数据在进行抽取及清洗时，不进行标准化处理，而是把历史数据与变化信息均存储下来，并形成一个客户变更的模型，在变更模型内，业务表与参照表自动建立关联关系，当业务人员查询时，会根据需要自动形成如下结果：

![19283fd6e172c3ca1b99ac8bb72e3db3.png][]

业务人员可以根据分析需求使用数据，保证了数据的正确性。

**3)如果用数据湖的方式实现**

数据将采用与原业务系统一致的方式存储，但是在数据使用时，需要对数据进行定义。

基于目前的成熟度与企业未来发展与扩充考虑，我们建议企业采用混搭结构，数据统一以原始格式存储于数据湖内(直接用Hadoop即可以实现)，确认有用的数据从数据湖内转为结构化存储，进入数据中台使用。

来源：山东省大数据局

--------------------

![3d71262eac6fac731668a2b236d68d89.png][]

[0c867b54ada69f98faef32073e347051.png]: https://img-blog.csdnimg.cn/img_convert/0c867b54ada69f98faef32073e347051.png
[1ce3b027bddb111fadb1cf7b0653fc01.png]: https://img-blog.csdnimg.cn/img_convert/1ce3b027bddb111fadb1cf7b0653fc01.png
[39712f5a82aadd8448e7a7d93c441b6f.png]: https://img-blog.csdnimg.cn/img_convert/39712f5a82aadd8448e7a7d93c441b6f.png
[7ac7691ccc539f4ceedad5137ca6c43d.png]: /images/20221120/fae943f33cd04177ba9b21afb48b99e9.png
[40a2c81d7474032b6963a68ae8fdc99d.png]: https://img-blog.csdnimg.cn/img_convert/40a2c81d7474032b6963a68ae8fdc99d.png
[ad61785f78bed5ee30804444606eefa3.png]: /images/20221120/26d67c8400d64985a195dd9e80a7c1c2.png
[2db1a0b368ac147f2b42a3d8f7bc43aa.png]: https://img-blog.csdnimg.cn/img_convert/2db1a0b368ac147f2b42a3d8f7bc43aa.png
[6c183f042c219b5e1ed2aa0f683dfc26.png]: /images/20221120/001f3dd0212a4680bb9c96c4aabe44fd.png
[222e63ac2487cca2c5881d19796f8069.png]: https://img-blog.csdnimg.cn/img_convert/222e63ac2487cca2c5881d19796f8069.png
[c296ebc8a2eebe248949e88a835589c5.png]: https://img-blog.csdnimg.cn/img_convert/c296ebc8a2eebe248949e88a835589c5.png
[8236f730334ce714fc375436d2112294.png]: https://img-blog.csdnimg.cn/img_convert/8236f730334ce714fc375436d2112294.png
[5528ed1c7267954482f2f9df00053c0a.png]: /images/20221120/25ec1619c3264a46bd859f826a2d5250.png
[bebae59cd3d04ad2571d211452c7bc51.png]: https://img-blog.csdnimg.cn/img_convert/bebae59cd3d04ad2571d211452c7bc51.png
[27a63c244a1e0622ff313b08d1f9d1bf.png]: https://img-blog.csdnimg.cn/img_convert/27a63c244a1e0622ff313b08d1f9d1bf.png
[28618d903597cb09926cc4d7493471c1.png]: https://img-blog.csdnimg.cn/img_convert/28618d903597cb09926cc4d7493471c1.png
[e318aad677e3e0c6a9717d388cd3283a.png]: https://img-blog.csdnimg.cn/img_convert/e318aad677e3e0c6a9717d388cd3283a.png
[0f9133647466dd4f51d5c1da654ffef5.png]: https://img-blog.csdnimg.cn/img_convert/0f9133647466dd4f51d5c1da654ffef5.png
[5ee918b4477ad48ccff9c144197479b1.png]: /images/20221120/aae0d3759a444e7d91d718de9fe439f9.png
[ee15ee96c6d81433013d14985f293c53.png]: https://img-blog.csdnimg.cn/img_convert/ee15ee96c6d81433013d14985f293c53.png
[2d6cba5f623cf913585db62e3ccff141.png]: https://img-blog.csdnimg.cn/img_convert/2d6cba5f623cf913585db62e3ccff141.png
[29614d316ee19c8bba6c69276a00692d.png]: https://img-blog.csdnimg.cn/img_convert/29614d316ee19c8bba6c69276a00692d.png
[b25d02542823b8084d279031930e5040.png]: /images/20221120/02766f14e6e846b586c77c6472de0875.png
[be66b89acab17a78c3e9bf218a67b1a9.png]: https://img-blog.csdnimg.cn/img_convert/be66b89acab17a78c3e9bf218a67b1a9.png
[2151effe4673082266107d1aceb12592.png]: /images/20221120/9b2e6692f10b4b159aa74304e0215d0a.png
[ba38cb9e6406ef841c05cedbebe686ad.png]: /images/20221120/c0404f710bba4e2ab38634b6648aac59.png
[d69056c711c0c0b37d8240f494be573b.png]: https://img-blog.csdnimg.cn/img_convert/d69056c711c0c0b37d8240f494be573b.png
[521469b88c648dbd6b73c8ebb948491e.png]: /images/20221120/86ff89ba67874ee3b3769bc9f7e7afca.png
[ac9f29d88723bf1e8a7bda41557c99b5.png]: /images/20221120/0fa76e616fec41a7ba88846b8ab90a2e.png
[90c0a42ef7fad0032782b5fb818e4125.png]: /images/20221120/043e82b728c8436f8b8aed4be937b8f9.png
[d495caa81a458c2797f6100289d5e10e.png]: /images/20221120/a90492961563496586ee9b46519f92ab.png
[41cb3f22d73f1bbae62df62bc38a773e.png]: /images/20221120/9bd360e092e24bd09ac92e2cc8b18ff0.png
[044942520437ad8cb983d13e0a7d750a.png]: /images/20221120/b6813111a4da49b2a7bcd18bef9f8490.png
[19283fd6e172c3ca1b99ac8bb72e3db3.png]: /images/20221120/ee5b60926bb04c078689fb9710234b15.png
[3d71262eac6fac731668a2b236d68d89.png]: /images/20221120/728f0c5fe0034870aa7c73ee18a3462c.png