DataOps详解 (下)

深藏阁楼爱情的钟 2023-10-12 12:58 6阅读 0赞

> 什么是数据运营？数据团队终极指南

微信搜索关注《Java学研大本营》，加入读者群，分享更多精彩

### 什么是 DataOps 可观察性？ ###

在数据可观察性对于实时了解数据正在发生的事情以及能够主动解决问题以应对可能很容易成为更大挑战的挑战至关重要的时代，DataOps 可观察性同样重要。

同样，DataOps 可观察性是关于实时监控数据管道并在出现某些问题或异常时发出警报。这种级别的可观察性对于了解整个组织跨各种环境和状态的端到端数据旅程非常重要。这样一来，它使团队能够更快地发现问题，从而更快地交付解决方案。

因此，DataOps 可观察性是维护高质量数据和确保数据实践尽可能高效和有效的重要组成部分。

### 谁参与了 DataOps 团队？ ###

在任何给定组织中，DataOps 团队可能涉及多个角色。最重要的是，DataOps 团队的成员应该具备数据治理、数据策略开发、数据集成、数据安全和隐私、数据编排、数据库和流程开发方面的专业知识。

DataOps 团队中通常涉及的一些关键角色包括：

*  开发和数据最佳实践的数据专家，包括数据建模和可视化
 *  构建和维护数据基础架构并提供分析、BI 和系统支持的数据工程师
 *  从事高级分析和 AI/ML 模型的数据科学家
 *  构建和管理数据治理策略的数据管理员
 *  专注于数据质量和可靠性的数据分析师 DataOps 团队还应该有一个执行发起人来推动整个组织的支持，并保证高质量、高效率和可靠性等结果。

当然，参与 DevOps 的人也参与了很多组织中的 DataOps 团队。

### DataOps 有什么好处？ ###

DataOps 在速度、质量和数据访问方面以及围绕管理数据和呈现洞察力的流程方面为组织带来多项优势。主要好处包括：

*  由于更好地定义流程，改进了数据团队之间的协作并减少了流程瓶颈
 *  由于更强大的数据治理涵盖从数据创建和使用到数据集成等方方面面，因此可以实现更高质量的数据交付
 *  由于能够更有效地显示关键信息，因此可以更快地从数据中获得洞察力
 *  基于更高质量的数据流入系统和更快的洞察时间改进决策
 *  整个组织内的各种用户可以更轻松、更普遍地访问数据

在最高级别，DataOps 通过释放与数据处理相关的时间来实现“更多、更好、更快”。它消除了团队将所有时间都花在一个项目上的世界，其中 80% 是数据准备，并且完成一项实验只是为了失败，并且他们必须向业务证明这项工作是合理的。相反，它引入了一个团队可以运行数百个实验、快速迭代并在粗略的成功中找到证明工作合理的钻石的世界。

![7357f507506370a76e40c32776b0bde2.png][]

介绍 DataOps、IBM 数据和 AI https://youtu.be/EvQPGkmTBaU

### 如何衡量 DataOps 的价值？ ###

了解 DataOps 的好处是一回事，在实践中实际衡量这些好处是另一回事。那么，如何衡量 DataOps 的价值呢？考虑现实生活中组织的以下两个场景：

**1. 领先零售商将更新时间从数周缩短至数分钟**

对于一家领先的零售商，更改为其数据库提供支持的源系统中的数据需要三周时间。这意味着要延迟数周更新库存水平等关键信息，这会导致客户体验出现重大滞后，因为购物者不会等待数周才能购买。

实施 DataOps 对零售商产生了不可思议的影响，将系统中更新库存数据的时间从三周或更长时间缩短到不到两分钟。此外，它还允许零售商加快其他流程，例如在不到一天而不是几周的时间内审查客户亲和力数据，并在几分钟而不是几小时内确定各种 A/B 测试的结果。

总之，这些改进使零售商能够以消费者的速度运营，并发展他们的业务以实现“更多、更好、更快”的目标。

![7ade9ec881d0a74d0b245d5d281b6194.png][]

介绍 DataOps、IBM 数据和 AI https://youtu.be/EvQPGkmTBaU

**2. 国际银行获得实时更新客户记录的能力**对于一家国际银行，更新客户记录的缓慢周转开始引发问题。通过账户处理交易的滞后时间意味着客户会在不知不觉中退回支票或透支他们的账户，因为之前的活动尚未记录。这种情况可能会造成严重的客户信任问题。

作为回应，该银行引入了 DataOps 来简化流程并为客户提供更高质量的结果。具体来说，通过从手动流程切换到自动化流程，他们能够将更新帐户记录所需的时间从每小时 13 次减少到每分钟 50 次。

通过这样做，该银行将其数据质量得分提高了 15 倍，并连续两年提高了净推荐值——所有这些都证明了更好的客户体验。

![af79c19bcce253d4a2e52977d25636ee.png][]

介绍 DataOps、IBM 数据和 AI https://youtu.be/EvQPGkmTBaU

### 发掘 DataOps 的价值 ###

运行良好的 DataOps 实践可以为各种组织带来不可思议的变化。通过更快地交付可信的业务数据，DataOps：

*  提高敏捷性、速度和对数据的信任
 *  支持需要数天而不是数周、数月或季度的迭代
 *  分析和 AI 的结果可以大规模和快速地交付结果，与业务的步伐相匹配 因此，DataOps 正迅速成为任何组织都不能错过的基本功能。

### 结论 ###

数据可观察性是任何数据团队敏捷和迭代其产品的能力的支柱。没有它，团队就无法依赖其基础架构或工具，因为无法足够快地追踪错误。这会降低为客户构建新功能和改进的敏捷性——这意味着您不投资于 DataOps 框架的这一关键部分，实际上是在浪费金钱！

![75b486ef56f307e720f76eda435f37e2.png][]

### 推荐书单 ###

#### 《项目驱动零起点学Java》 ####

《项目驱动零起点学Java》共分 13 章，围绕 6 个项目和 258 个代码示例，分别介绍了走进Java 的世界、变量与数据类型、运算符、流程控制、方法、数组、面向对象、异常、常用类、集合、I/O流、多线程、网络编程相关内容。《项目驱动零起点学Java》总结了马士兵老师从事Java培训十余年来经受了市场检验的教研成果，通过6 个项目以及每章的示例和习题，可以帮助读者快速掌握Java 编程的语法以及算法实现。扫描每章提供的二维码可观看相应章节内容的视频讲解。

《项目驱动零起点学Java》贯穿6个完整项目，经过作者多年教学经验提炼而得，项目从小到大、从短到长，可以让读者在练习项目的过程中，快速掌握一系列知识点。

马士兵，马士兵教育创始人，毕业于清华大学，著名IT讲师，所讲课程广受欢迎，学生遍布全球大厂，擅长用简单的语言讲授复杂的问题，擅长项目驱动知识的综合学习。马士兵教育获得在线教育“名课堂”奖、“最受欢迎机构”奖。

赵珊珊，从事多年一线开发，曾为国税、地税税务系统工作。拥有7年一线教学经验，多年线上、线下教育的积累沉淀，培养学员数万名，讲解细致，脉络清晰。

[《项目驱动零起点学Java》(马士兵，赵珊珊)【摘要 书评 试读】- 京东图书京东JD.COM图书频道为您提供《项目驱动零起点学Java》在线选购，本书作者：，出版社：清华大学出版社。买图书，到京东。网购图书，享受最低优惠折扣!![icon-default.png?t=N4P3][icon-default.png_t_N4P3]https://item.jd.com/13607758.html][Java_ _ _- _JD.COM_Java_icon-default.png_t_N4P3_icon-default.png_t_N4P3_https_item.jd.com_13607758.html]

![411baa01e74d47ce82877f23439a803d.jpeg][]

> > > > ### 精彩回顾 ###
> > 
> > [部署Spring Boot应用程序][Spring Boot]
> > 
> > [Java Spring Boot 3.0.0 RC1 震撼登场!][Java Spring Boot 3.0.0 RC1]

> > 微信搜索关注《Java学研大本营》
> > 
> > 访问【IT今日热榜】，发现每日技术热点

[7357f507506370a76e40c32776b0bde2.png]: https://img-blog.csdnimg.cn/img_convert/7357f507506370a76e40c32776b0bde2.png
[7ade9ec881d0a74d0b245d5d281b6194.png]: https://img-blog.csdnimg.cn/img_convert/7ade9ec881d0a74d0b245d5d281b6194.png
[af79c19bcce253d4a2e52977d25636ee.png]: https://img-blog.csdnimg.cn/img_convert/af79c19bcce253d4a2e52977d25636ee.png
[75b486ef56f307e720f76eda435f37e2.png]: https://img-blog.csdnimg.cn/img_convert/75b486ef56f307e720f76eda435f37e2.png
[icon-default.png_t_N4P3]: https://csdnimg.cn/release/blog_editor_html/release2.3.0/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=N4P3
[Java_ _ _- _JD.COM_Java_icon-default.png_t_N4P3_icon-default.png_t_N4P3_https_item.jd.com_13607758.html]: https://item.jd.com/13607758.html
[411baa01e74d47ce82877f23439a803d.jpeg]: https://img-blog.csdnimg.cn/411baa01e74d47ce82877f23439a803d.jpeg
[Spring Boot]: https://mp.weixin.qq.com/s?__biz=MzkzMDM3MjI3Nw==&mid=2247485902&idx=1&sn=f8a8b41aa78df26fbb4171bf8b14c938&chksm=c27a0614f50d8f02690b33e16513185067ad3fad6638a7f6eaf1a2b03bf01ed3fad164339cb8&scene=21#wechat_redirect
[Java Spring Boot 3.0.0 RC1]: https://mp.weixin.qq.com/s?__biz=MzkzMDM3MjI3Nw==&mid=2247485911&idx=1&sn=33ccbc9f8c9f98de24e05cdae26767f7&chksm=c27a060df50d8f1bb9d16fc293b5bd94faabacf4763d20f60a4962e709f1bd60efae4dd5a4ec&scene=21#wechat_redirect