数据中台的四大支柱

我不是女神ヾ 2022-09-08 15:52 196阅读 0赞

### 数据中台的四大支柱 ###

*  01 我们在谈「数据中台」的时候，到底在谈论什么？
 *  02 数据中台支柱一：产品导向
 *  03 数据中台支柱二：数据服务
 *  04 数据中台支柱三：敏捷团队
 *  05 数据中台支柱四：培训赋能
 *  写在最后的话

> 来源：谈数据

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5Liq5YaZ5rm_55qE56iL5bqP54y_size_20_color_FFFFFF_t_70_g_se_x_16]

# 01 我们在谈「数据中台」的时候，到底在谈论什么？ #

在过去了两年里，我做了一些关于的数据中台研究，也写了几篇数据中台的文章，试图去理解和定义清楚“什么是数据中台”。过程中，我发现不同的人对“数据中台”的理解是不一样的：

*  有人认为：数据中台是一个方法论，用来指导企业实现“业务数据化、数据业务化”；
 *  有人认为：数据中台是一个管理和使用数据的思维模式，核心是数据资产的沉淀；
 *  有人认为：数据中台是大数据平台的延伸，是大数据的下一站；
 *  有人认为：数据中台是对内进行数据共享，对外提供数据开放的数据服务平台；
 *  也有的人将数据中台当做一个产品，常常拿它与数据仓库进行功能比较。

以上对于说法各有各的道理，可以说都正确，只是在不同的场景下的不同理解而已。

当我们设计和构建数据中台时，我们致力于提供其他团队开发项目所需的能力和工具。但是，要想让数据中台真正发挥价值，单纯理念、产品、技术或方法论某一个方面去理解和定义它，是不行的。

「数据中台」是集组织机构、实施方法、管理流程与规范、技术与工具为一体的解决方案。

现在看来，说数据中台是一个解决方案没问题，但太过笼统，笔者试着对这个定义做一个细化和优化。

笔者认为：数据中台更像是一个数据产品或数据服务的数据能力工厂，它由“产品导向、数据服务、敏捷团队、赋能中心”四大支柱支撑，提供数据资产加工，数据分析和应用，数据服务输出等能力——数据中台即服务。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5Liq5YaZ5rm_55qE56iL5bqP54y_size_10_color_FFFFFF_t_70_g_se_x_16]

*  产品导向：这是提供给用户的数据平台、所有特性和功能，是工具和技术层面的内容，负责管理、加工、处理、运营数据。
 *  敏捷团队：这是最重要的、确保数据中台成功最大的支柱，是实现新的数据运营模式——DataOps的关键。
 *  数据服务：这是数据中台的灵魂，通过数据中台让用户在不付出大量努力和成本的情况下实现的结果，为用户提供价值。
 *  培训赋能：这是让数据用起来的重要手段，它也是一项服务可以独立突显价值。

# 02 数据中台支柱一：产品导向 #

数据中台是在数据仓库、大数据平台基础之上发展起来的，都想“去其糟粕取其精华”形成一个理想的数据中台架构。但“理想很丰满，现实很骨干”，在不同公司中，存在不同的现状和需求，没有一个数据中台可以匹配所有的业务需求。

因此，数据中台的建设应该建立在深刻理解企业需求并关注“未来发展”的基础之上。

从产品侧看，数据中台应包含的能力和特性有：数据资产化、数据目录、数据质量、DataOps、数据服务、系统监控等。在企业环境中，提供这些特性的唯一方法是：产品导向。即，以用户为中心，采用敏捷方法，通过MVP——最小可行的产品，定期获得用户反馈，快速迭代，持续改进，构建和沉淀数据服务能力。

我们提供了基于产品导向的数据中台架构设计的9个最佳实践，供参考：

1.  倾听用户（含潜在用户）的声音并尝试了解他们的需求及用户体验。
2.  定义数据中台的定位和长期目标，数据中台一定不是一个通用的工具，每个企业的数据中台都应该有自己的“使命”。
3.  全面的数据中台架构设计，定义哪些是常用功能，哪些是重要功能，定义尽量简化的业务场景，方便客户实现目标。
4.  以MVP（最小可行产品）方式进行开发，及时与用户分享，以获得用户的初步反馈。
5.  循序敏捷开发，不断优化改进。
6.  清晰的产品路标设计，让老板和关键用户能够看到你现在在哪儿，要到哪去，以及定期获得用户的反馈。
7.  数据中台的规划设计，MVP的开发都要一开始就致力于为用户提供价值，同时获取用户的反馈。用户需求不是一成不变的，数据中台必须不断变化，变化是数据中台生命周期的一部分。
8.  数据中台技术路线最好选择云原生架构，微服务、DevOps、容器云等将使得数据产品的开发变得敏捷。
9.  最后也是最重要的是要记住：数据平台也好，数据中台也罢，拥有最好的架构并不重要，再好的产品如果没有人使用它或者晚了两年用，那样就失去意义了。

# 03 数据中台支柱二：数据服务 #

在笔者看来，数据中台最重要的不是中台而是数据，但“纯粹”的源数据严格来说还也不是数据中台的一部分，需要将其加工、处理、标准化形成数据服务和数据产品。数据即服务——这是数据中台的灵魂。从这个角度讲，数据服务是数据中台的核心，并直接为用户提供价值。

数据中台提供的能力包括：数据资产管理，公共数据服务，垂直数据服务，数据服务开放共享，数据运营，中台管理等。数据中台即服务，每一项中台的能力都是为服务用户而生！

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5Liq5YaZ5rm_55qE56iL5bqP54y_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
1、公共数据服务

*  数据整合化，以范式化的主题模型整合异构数据源数据，形成一数一源（One Data）；
 *  数据服务化，屏蔽上游数据结构变化对下游的影响；
 *  数据标准化，统一业务和技术对数据的理解和认知。

2、垂直数据服务

*  整合内外部数据源，提供单线条垂直数据服务能力；
 *  提供贴源的数据存储和服务，基于批处理或流媒体创建和自动化数据可靠管道

3、数据萃取服务标

*  统一ID，提供跨系统、跨设备、统一的数据标识（One ID）；
 *  统一标签体系，支持加工和提炼数据标签；
 *  统一指标体系，支持加工和存储并提供统一指标数据；
 *  一般不建议将复杂的加工萃取数据方式放在数据中台，如计算引擎，那是数据平台该干的活儿。

4、数据开放共享服务

*  提供多样的数据服务方式，将数据中台的数据提供给数据应用方使用；
 *  提供定制化模板服务，数据以约定的格式或复杂加工后，提供数据应用方使用。

5、数据资产管理

*  提供统一的数据资产地图，数据目录和自助数据服务能力；
 *  提供数据治理能力，统一数据标准和用数规范。

6、数据中台运营

*  支持数据资产日常运营，提升数据资产价值；
 *  提升需求响应效率，加速应用研发迭代效率。

7、数据中台管理

*  提供数据管理、项目管理、开发管理、运营管理等支撑能力，为数据中台的持续化数据服务保驾护航。

# 04 数据中台支柱三：敏捷团队 #

如今市场需求千变万化，“及时性” 比以往任何时候都更加重要，数据中台需要将合适的数据及时送达用户，要做到这一点实际上并不容易。

我们知道，中台是一种“中心化”的组织模式，“中心化”意味着极强的管控能力，标准化能力、统一调度和复用能力。

但“中心化”也有个很大缺点：这个“中心”一旦建的过大，就会陷入瓶颈，公司所有部门集中向一个团队提交用数需求，更多的任务将超出数据中台团队的能力范围，从而让“数据中台”变得臃肿而效率低下。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5Liq5YaZ5rm_55qE56iL5bqP54y_size_18_color_FFFFFF_t_70_g_se_x_16]  
数据中台需要更加自动化的平台能力和更加敏捷的团队，以用户需求为中心，以协同协作的方式，支持业务与技术的团队融合（混合团队），鼓励团队协作和知识共享。对传统企业而言，建立敏捷的协作团队并不容易，一开始需要很多努力，但从长远来看对企业会有很大帮助！

数据中台中的敏捷团队重点关注的是“DataOps”——数据操作或数据运营，可以理解为数据的DevOps，目的是“让数据用起来”。DataOps揉和了DevOps理念中快速敏捷、持续集成等关键点，强调通过调整文化、流程和使用的工具，实现团队的融合和工作的协同，持续迭代数据架构，快速提升业务价值。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5Liq5YaZ5rm_55qE56iL5bqP54y_size_20_color_FFFFFF_t_70_g_se_x_16 2]  
数据中台敏捷团队的角色构成：

*  产品经理：负责定义业务目标，维护和执行数据愿景、战略等。
 *  解决方案架构师：负责定义的需求和要求一致的整体技术蓝图。
 *  数据工程师：数据中台的核心技术团队，负责构建整个数据“供应链”，了解Hadoop、Spark、Kafka等技术体系架构，创建数据模型，实现数据采集、流转和存储，为数据集成提供支持。
 *  数据治理团队：负责数据质量和安全的处理和预防，确保业务目标的完成。有时候，也会将数据治理团队作为DataOps的一个分支。BI团队、数据科学家团队是实现“DataOps”关键组成，负责数据的探索、挖掘、分析以及数据的可视化。为业务问题提供支持，帮助理解业务问题、梳理数据结构、优化数据质量等。
 *  业务用户：提供用数需求是数据中台服务的最终用户。业务用户基于数据中台的自助服务能力，进行数据的探查、探索，以及自助式数据分析。

# 05 数据中台支柱四：培训赋能 #

在传统企业，数据中台对于大部分人员来说还是个新事物，要让各部门、各团队习惯使用数据中台，其实是个并不容易的事情。

除了有了新的技术要求，更重要的是数据中台有一套新的流程和方法。有效的沟通和培训十分重要，有利于提高数据中台的使用率。

在数字化转型的大背景下，培训赋能是一个被广泛提及的话题，即，通过培训的方式赋予人或团队的某些能力，主要包括：技术赋能、数据赋能、工具赋能等。

培训是赋能的一个重要手段，但在实际的操作过程，往往也存在一些问题，导致培训赋能的效果并不理想，例如：

*  参与培训的学员，往往将培训当成为一个临时的任务，他们中的一部分还有很多工作，所以他们并没有完全专注于培训的课程。
 *  一部分学员在培训过程中，经常受到其他事项的干扰，导致没有完成完整的课程。
 *  即使部分学员完成了完整的课程，可一旦正式使用还是不会用。
 *  那么，这些培训是不必要的吗？当然不是，但您可能需要调整一下培训的方法和内容。实战例子、参考代码、练习，全程的支持，将传统“授课式”培训转变为“实战式”培训，并及时获得反馈。

让业务用户真正参与到数据团队中来，参与意味着帮助设计、开发和数据中台运营。

这种方法能够业务团队能够巩固专业的数据中台知识，并让自己也成为知识的生成者。数据中台团队也会受益，因为他们更加能够切身了解业务用户的实际需求。

在整个数据中台运营过程中，技术团队的职责重点关注基础设施组件的建设、数据服务能力的开发和数据供应链协调。同时，还有一个重要的职责就是“培训赋能”，为业务用户提供数据中台使用的教练和辅导服务。

# 写在最后的话 #

产品导向、数据服务、敏捷团队、培训赋能是构成数据中台的四大支柱，是“让数据用起来”的基础，缺少一个都会使整个架构不稳。同时，数据中台重点关注DataOps，为不同的业务用户提供不同的“数据管道”，实现数据价值。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5Liq5YaZ5rm_55qE56iL5bqP54y_size_20_color_FFFFFF_t_70_g_se_x_16 3]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5Liq5YaZ5rm_55qE56iL5bqP54y_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/5dd12f08dda3456e957319e7a7b96c2d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5Liq5YaZ5rm_55qE56iL5bqP54y_size_10_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/c5447493618d4f3fb30fcc71b15fa168.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5Liq5YaZ5rm_55qE56iL5bqP54y_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/855efd1a3457476b929c43275a9b89d3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5Liq5YaZ5rm_55qE56iL5bqP54y_size_18_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/cbdd69f614954485beae359a397e7683.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5Liq5YaZ5rm_55qE56iL5bqP54y_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220829/2036d478ea0d42eaa8b1956fdca18ce5.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5Liq5YaZ5rm_55qE56iL5bqP54y_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220829/b5feb7d448764a8a9e381632dabcca7b.png