58 大数据应用平台的实践及演进之路

野性酷女 2023-09-25 14:47 19阅读 0赞

**导读：**随着大数据产业的快速发展和应用落地，大数据产业正在成为中国数字经济发展的重要驱动力。本文将分享 58 同城自研的星河-大数据开发应用平台。

**今天的介绍会围绕下面四点展开：**

*  大数据应用平台介绍
 *  平台资源管控介绍
 *  核心能力技术解析
 *  总结及未来规划

分享嘉宾｜于涛 58大数据部 资深开发工程师

编辑整理｜王雨萌 中文在线

出品社区｜DataFun

--------------------

**01**

**大数据应用平台介绍**

![41f8e4a7d8bcd60aa975214727ccfe97.png][]

**1. 58 平台介绍**

首先，介绍一下星河平台。星河平台是 58 大数据应用平台，是一个自研的一站式大数据应用解决方案，集数据集成、开发、运维、治理、资产管理能力于一身。致力于解决多业务场景、多业务系统下的数据开发、数据治理、资产管理等难题。帮助业务团队提升研发效率，降低运维管理成本，挖掘数据价值，为业务决策提供支撑。最关键的，为业务赋能，是数据应用平台价值体现的重要部分。

![a36e501ad48b399de48d5daa82dd8a4c.png][]

58 大数据平台，一共经历了三个时代。

第一个时代，也就是 **1.0 时代，是一个基本探查的时代**。在基本探查时代，我们仅支持探查类的一些查询，异构数据源仅支持 Hive 和 MySQL 的一些离线方面的查询。更多的应用开发面向产品的需求。

到了 **2.0 时代，升级为核心调度时代**。调度体系，也就是我们核心的一个工作内容。在这个阶段，主要任务是打造自研的核心调用平台，支持更多的生产场景，数据源支持多元化，自研全新的调度服务、元数据服务等。同时，在这个阶段，我们升级了元数据服务，使得元数据服务体系更加独立。为什么要这样做呢？后面会和大家详细解说。

到了 **3.0 时代，就变成了一个全链路闭环的时代**。这个时代，我们的重点是投入更多的经历到体系化的产品建设方面，形成一站式的数据应用平台。增加了数据全链路的服务管控能力。在这个阶段，我们也做了一些元数据服务体系衍生出来的一些核心能力的升级：比如数据地图、以及全链路的血缘关系，同时也专项的推进了一些数据治理的工作。在这个时期，我们基本上已经承载了全公司的业务。

**2. 58 大数据应用平台核心**

![1a66e3172cf72adc9f535fe51b05a43b.png][]

接下来介绍 58 应用平台的核心宗旨。

*  **统一数据规范**

首先，统一数据规范以及资产标准，通过对数据规范的一些建设，提升效率。

*  **保证数据安全**

保证数据安全，不仅对表库级别的数据安全有一些核心的控制，在针对字段力度，有一些更加细粒度的行列权限的控制，包括敏感和加密字段的管理，构造数据屏障。

*  **丰富的数据交换任务**

丰富的数据交换任务，刚才我们已经说了支持20多中数据任务的开发。这种形式的页面交互，对小伙伴们进行数据开发、作业调度等，门槛会大大降低。

*  **综合数据治理**

结合数据治理，对

[41f8e4a7d8bcd60aa975214727ccfe97.png]: https://img-blog.csdnimg.cn/img_convert/41f8e4a7d8bcd60aa975214727ccfe97.png
[a36e501ad48b399de48d5daa82dd8a4c.png]: https://img-blog.csdnimg.cn/img_convert/a36e501ad48b399de48d5daa82dd8a4c.png
[1a66e3172cf72adc9f535fe51b05a43b.png]: https://img-blog.csdnimg.cn/img_convert/1a66e3172cf72adc9f535fe51b05a43b.png