数据治理项目经验分享

向右看齐 2023-01-13 06:28 186阅读 0赞

![图片][d09244e8769ec44e809714609ffbf93e.png]

绝大多数互联网公司没时间建模、治理，直接拖宽表。业务变更频繁、建模缺位、指标爆炸，是导致互联网大数据环境中数据质量的低下的根本原因。

而在部委、集团中，时间相对充裕一些，标准更规范一些，但是同样面临部委和省级之间、各系统之间数据交换、对齐的问题。

因此，在不同的环境中，数据治理的重点和偏向都是完全不一样的。

![图片][1c47bb1270703f86d665447bf9ff47ef.png]

今天分享的内容从实战出发，到落地结束。数据治理最难的不是系统建设，而是落地困难。所以今天先跟大家分享一下部委、集团类数据治理遇到的困境，以及各种问题的具体解决方案，还有如何进行经验复制。

### 你以为的数据治理 ###

![图片][d41424739c3e11572588f395840b5d72.png]

提到数据治理，第一反应就是数据部门一定要定标准、做执行、强监督啊，搞一个PDCA戴明环，一点一点慢慢的做起来。

然后呢？给下属单位、子公司和其他部门下文件、搞培训，做排名，轰轰烈烈做起来，各种办法都得上啊。

这样行么？这样有效果。但是肯定会非常非常的困难。因为很多事情跟你想象的不一样。

![图片][9afd4b91c79a28dbd06dd7005260143e.png]

比如，你以为在部委、集团里办事是不是开个会，发个文件就好了？嘿嘿，那你简直太天真了。

![图片][bb65eb9f92f922e3467076183520b38d.png]

实际上，各部委、集团的甲方，在执行项目的时候，电话根本放不下来，下面的各个厅局级的疯狂打电话过来各种确认问题。

乙方呢？那就更惨了！即便是做了万全之策，也会有无数的未知问题等着你。所以乙方基本都是处于疯狂加班的状态。

![图片][ada98e32ee5dfafebeb690d74399e520.png]

你以为部委、集团就是发发标准，数据质量自然就提高了？是，数据质量的确要制定好标准，但是你听说过“形同虚设”吗？

![图片][4865f96618f07125e43d8c41547db536.png]

即便是通过行政命令强压下去，但是各地的基础条件不一，人员素质不一，经济实力不一，系统建设的好坏也就不一样。

还有，中文语义非常广，不同语境理解不一样，非常容易产生很多歧义。所以很多时候公务员真的都是在抠字眼，因为要力求精准。

经常是你想要他们填A，结果有很多人填A'、B、C。

![图片][50042a595c3558246cf8a0db95918c8c.png]

你是不是以为在部委、集团里做事情，都是一声令下，然后就有山呼海啸，应者无数，事情推进的非常顺利？

![图片][a671abb9e460ef29415531f235e28b03.png]

实际上，基层工作人员手上的事情都非常非常的多，根本没办法及时响应，通常都是拖到最后一刻才交作业，晚交也是非常正常的事情。

如果你抱着以上的认知去做项目，拿着部委、集团的命令当尚方宝剑的话，我不敢确定你是否能成功，但是你肯定会吃尽苦头，撞一头的包。

### 核心原因 ###

![图片][1428d0412f2db7666bbb7645d644d3d8.png]

一般来说，你可能会遇到这三种情况：

耽误工夫，不想治！

数据治理太难了，不会治！

治好了没政绩，没啥用！

![图片][aa903a4ab4db0dbaeeae21fedc34aed6.png]

为什么会这样呢？我们需要追寻到问题的底层逻辑。

![图片][7072b0679fba92bac9e65c7ecbaa5d5d.png]

我们回到最开始的策略，先定标准、做执行、强监督，向下则是下文件、搞培训、做排名。

这是典型的领导视角，是带着一些强权的意思在下达任务。大家都是打工人，何必为难打工人？再说了，打工人手上的活也很多啊，谁愿意多一点活？

领导视角推动事情，最喜欢用的就是强权，但是最坏事的也是强权，很容易引起反感，没人听你的。

他们没有任何动力去做这种事情啊！这就像小时候的我，总是被爸爸妈妈逼着学习。晚上回家还站在我后面看着我写作业，谁心里舒服啊？

上面说到的“不想治、不会治、没啥用”只是三个典型而已，信不信给你找出100个理由？你想想小时候为了逃避写作业，你编过多少理由？

所以我们需要转换一个视角去办事，强权是靠不住的。根据我的经验，转换成兄弟视角是最合适的。

### 峰会内容 ###

![图片][1e81d258f41a79f74140cd052038d55e.png]

对付不想治，简单！病根找到了，那就让他自己想治就好了。

态度一定要明确：兄弟不是给你派活的！兄弟是给你助攻的！

再给你三个小妙招：举例子、挂欲望、给希望。

![图片][9440537098b1af1077b3001e47f6ad21.png]

挂欲望的时候，一定要注意，这个欲望不是人性阴暗面的欲望，而是激发他的正能量。所以奖励钱是不好的，因为你在诱惑他。

而是从他的工作入手，告诉他能实现价值，比如节省时间。

我们最终的目标是转变他们的观念，将“要我治”变成“我要治”。化他们的被动成为主动。

![图片][4832e5a354cf618b008b09ebf9d0fc69.png]

对于数据治理太难的问题，我们必须帮助他们。因为很可能他们根本没有那个能力去做这些事情。

更何况，你要是放开让他们自己干，一人一个理解，全乱套了，最后没办法收场了。

![图片][cd644eb4dd140b0e228f7ea9011d9dc9.png]

所以我们得根据各种实际问题，帮助兄弟提供针对性的解决方案，最重要的是降低执行的难度，最好一键搞定。

![图片][cf7ecd8ef21f17504beea8917155b557.png]

对于感觉没啥用的观点，好处必须要落到实处。

![图片][371866bc98f67246f61877d9360b1861.png]

怎么落？一定要设计好动力系统，让大家看到实实在在的好处，才能有动力一起推动这件事情。

该给的荣誉要给到位，标杆树起来，比学赶帮超，带动一大批。

虽然是数据治理，但是应用也得规划到位，否则业务部门无感，数据部门也觉得没啥用。

还得给下面干活的同学提供相应的工作管理和向上汇报的素材，好歹也能发一个内部的小通知不是么？

### 方法论复用 ###

![图片][6970104aca24c88af1f33dd0d9ffc871.png]

我这个方法论可不仅仅是在部委能用，在集团、普通公司都能用的。比如，在微信群里，就有想推动数据治理的朋友提一个问题：怎么反驳IT同时不恰当的言辞呢？

群里也有人给了非常专业的回答，这么说肯定是有理有据的。

![图片][c23a12737058fc037eeda41b0c073c85.png]

不过在这里，也可以用我之前的那个套路套一下，也挺管用的。

比如，原来是要反驳，这明显是对立视角啊，想找他的问题很简单，随便能找一堆啊。但是对立就意味着失去了一个朋友。数据治理这么难，我们应该尽可能的团结一切可以团结的力量。他说错了就让他错呗。我们只要他合作就行了。

所以，转变一下视角，从对立变成合作。

一样，把“要我做”变成“我要做”：举例子、挂欲望、给希望。谁家的数据治理做的好，他们的IT部门都不用操心数据部门的事。SAP属于业务系统，数据分析数据分析系统，我们以前有问题都找你人工解决，以后我们自己解决。

提供全套解决方案，降低执行难度。数据治理很专业，有专门的系统，也有方法，我这里还有高手，不会给你添麻烦。

规划先行，设计动力系统。做好了，你也省心啊。每次有进展的时候，向领导汇报，都感谢一下他。

你看，这样做，阻力变成助力，推进起来是不是就容易多了？

### 数据治理目标 ###

![图片][e27c2888ace16cf41018a326a9c304d5.png]

接下来，给大家分享一下比较枯燥的数据治理建设方法论。

![图片][dd7ea1ddd6bb5241c20c70c34f13c9fb.png]

![图片][5fa825f732ed4b233b64f2a835bd8b9c.png]

不同场景、不同项目对数据治理的需求是不一样的。个人认为核心的就这几个：

1、提升数据质量；

2、规范数据管理；

3、统一数据出口；

4、数据资产化。

![图片][17790bde038e02934d38b625471208b2.png]

理论指导采用DAMA，这是DAMA的车轮图，我们在具体落地的时候，一般都会从中进行裁剪，选择合适的内容进一步搞建设。

![图片][f3d5498b0991d03bb87855fea707bc93.png]

另外一个是DCMM，也是一体两面，同样需要裁剪。

![图片][9af347116bdc885e28b7f3f1556613f8.png]

我们需要进行常规的现状问题分析，找到问题背后的根本原因，然后再制定相应的策略，从根上解决。

比如每个人都能定义指标，数据部门沦为提数工具。这个现象的根本原因是缺乏归口管理，也就是数据部门没啥权利。这是组织问题，需要从组织层面解决，制定指标定义流程，确定数据权威。

![图片][ea553f947a545e2735461fe32254883f.png]

部委、集团层遇到的问题就更多了。信息化做的早，不一定是好事。

![图片][38bf4d2d62ba2088443f7618029f1631.png]

一般来说，裁剪完之后，就会剩下几个重点要做的事情。

### 峰会内容 ###

![图片][d5ce7782c49e83e8a0eb9f32673072f1.png]

![图片][ef58c31908500e118ae248d8d497c397.png]

组织一定要先行！数据治理犹如河道清理，不仅仅是清理工的工作。上游、河道两旁的垃圾、废水排放不制止，把河道清理工累死也无用。

所以数据治理应该向政府治理城市河道学习，要联合各个部门，做宣讲，改变大家随意排放的观点。做污水管道，引导河道两边的社区、企业合理排放。最后加上一些河道清理，这样大家一起努力才能有效。

组织先行的第一步是设立数据治理委员会，主要目的是把老板拉进来，把业务部门负责人拉进来，一起进行治理。这一步时间最小，但是重要性最强。

其次是制定各种管理规范，让大家有法可依。

然后才是建立数据治理团队，不仅仅是数据团队要加入，其他团队也要加入。

最后才是责任到人，落实到位。

![图片][fd6a4700bfad3dc1f41f47cca3c05157.png]

这是组织架构简要示意。

![图片][3d9f0cc455b0654af4946f53ae21de9d.png]

部委级的组织架构简要示意。

![图片][e804af6fb074447ef99d305c49497b57.png]

这是各种政策的简单示意。包括数据安全、质量管理、各种校验方案、管理办法等。

![图片][f115ae0004e839f04d3c0b0ed3e52270.png]

这是各种计划示意，具体的工作肯定不止这么少。但是逻辑是一样的。

### 管理方案 ###

![图片][b77cba2bed5425b6cad4ea57e9f32363.png]

![图片][24f9a5e58c619c48ee0cce275f014d8c.png]

数据治理应该覆盖所有环节。但是项目建设范围有限，不建议超出项目建设范围。

一般主要有三个环节：生产、传输、加工。再往后是使用环节，那边主要是发现问题的地方，而且往往在系统之外，所以不太好管理。

这三个环节管好基本就差不多了。

在生产环节，我们需要跟业务部门多多沟通，有些时候需要看看数据，反应的都是那些环节出问题了。也许是人的问题，也许是培训不到位，也许是系统不友好。我们根据实际情况进行调整，不断优化即可。

![图片][aaa1345752ebc133f83edcf7b3c88a4d.png]

在数据清洗的过程中，重要是成本和质量之间的平衡。这时候我们应该让业务参与进来，尽量做到用最小的成本覆盖最多的数据质量监控。

对于已知的异常数据，我们可以根据数据的重要性和其他特征，做相应的处理，能填补的就填补，不能填补的就原路返回，改好了再重新发过来。

![图片][2d06ce2dcf306553a8b3def1f582d420.png]

在数据治理的环节，一般要分成存量和增量场景。存量场景基本上一次性操作，人工突击搞一下就行了。增量场景则需要进行全面监控，而且还要持续治理，人工处理效率太低，成本较高，建议用系统承担。特殊情况再由人工介入。

![图片][7d5b06262b438befe184f71365668f4e.png]

数据治理是一个综合、复杂、困难的工作，需要多方协调。建议由信息中心、IT部门牵头，定标准、做规范，拉上业务部门和厂商一起进行。期间一定要做好宣贯、协调工作。

![图片][0fa1c975825c631eb652322eb4b307a7.png]

招术尽出，最后还是要加一根大棒。因为没有考核就没有结果。我遇到过什么事情都做了，但是结果就是不好的情况。

你想想身边是不是有这种“天天加班，但就是干不好活”的人？

### 治理平台建设 ###

![图片][7bf26b7c661cf15a95cf95007a02e70c.png]

![图片][b1b041dc5d389f49bacd8384f70153b6.png]

![图片][af725cd8398d10ee4351c16996e17878.png]

![图片][48f8f5b1c20f3c169235e02a23235a18.png]

![图片][964c30bc41000dbcacb0ee99b16d2c9e.png]

![图片][c9f14eb175b62519b1f85ba2802702d1.png]

![图片][1cf39b42ff4c9467eab2aea4de24feb2.png]

![图片][55d5c5d024459a8c0daec9e4d7cc0ff1.png]

在不同的阶段，数据一致性校验的内容是不一样的。以部委为例，先要从省级平台同步数据到国家同步库，然后再入到基础库，最后到应用系统。期间会经过同步、清洗、处理三个阶段。

同步的时候，校验的目标是数据源和接收结果是否一致；

清洗的时候，校验的目标是数据是否干净；

处理的时候，校验的目标是数据是否准确。

![图片][bf43eeb87931f0161b7660cb4038fd8a.png]

![图片][e9e8ffd3b6754e17c61bbab686ad6c16.png]

系统截图：略

### 组织建设 ###

![图片][0d6ab5fef9077f6a6ebc3022feb9def4.png]

![图片][1276f0f45feaf5f778337dfe7dbeaa02.png]

在数据治理环节上，要做到闭环。在组织建设流程上，也要形成闭环，这样才能把每一件事情做到位，每一条数据治理干净。

![图片][e1509b2571e20d140829e6ed88980d56.png]

![图片][45c2d42132f39d63979664f5453b09f1.png]

![图片][4249aa59b85d763d6a8793b97a3ca8a8.png]

[d09244e8769ec44e809714609ffbf93e.png]: /images/20221022/b1cfa103948b4a18a09f28a755532645.png
[1c47bb1270703f86d665447bf9ff47ef.png]: /images/20221022/40d45d9dd18446329cc97b41c62d715e.png
[d41424739c3e11572588f395840b5d72.png]: /images/20221022/136e2a4922e7444e88fbcf220c48b78a.png
[9afd4b91c79a28dbd06dd7005260143e.png]: /images/20221022/4fd6b1690f864e94888113f6914b56ec.png
[bb65eb9f92f922e3467076183520b38d.png]: /images/20221022/066b45dcc12b40ef9a69bebf2bbafdae.png
[ada98e32ee5dfafebeb690d74399e520.png]: /images/20221022/414fa864603f47a8828d6d73e91c5450.png
[4865f96618f07125e43d8c41547db536.png]: /images/20221022/defd32b4ca85471fbf41ecaa12a113c7.png
[50042a595c3558246cf8a0db95918c8c.png]: /images/20221022/a9862fa9dba54e38b75a3c10ec906f1c.png
[a671abb9e460ef29415531f235e28b03.png]: /images/20221022/c8e0565feffe4f9f9053617d9ffd5c96.png
[1428d0412f2db7666bbb7645d644d3d8.png]: /images/20221022/f60028207cc640fcb20de7db0351a499.png
[aa903a4ab4db0dbaeeae21fedc34aed6.png]: /images/20221022/caa4a80508d0449c87a2a9b6256c216e.png
[7072b0679fba92bac9e65c7ecbaa5d5d.png]: /images/20221022/210c93a6fbe14fe78e6401b036f9fb17.png
[1e81d258f41a79f74140cd052038d55e.png]: /images/20221022/70f7f5a72dfb43eba8f01f7aa55f1b09.png
[9440537098b1af1077b3001e47f6ad21.png]: /images/20221022/134202ae7fda4530a5671f13eced96cf.png
[4832e5a354cf618b008b09ebf9d0fc69.png]: /images/20221022/84e397b11df94164b92152382f6f65f7.png
[cd644eb4dd140b0e228f7ea9011d9dc9.png]: /images/20221022/1836c18c09e345a5a777df6fed1ee225.png
[cf7ecd8ef21f17504beea8917155b557.png]: /images/20221022/78abbd1b57264a76a2a118491fdcbd97.png
[371866bc98f67246f61877d9360b1861.png]: /images/20221022/d3aba63bdefe4cc68886fae42d5807e2.png
[6970104aca24c88af1f33dd0d9ffc871.png]: /images/20221022/7e4b019d06d144cc918b993d8453eae4.png
[c23a12737058fc037eeda41b0c073c85.png]: /images/20221022/97f6b9a0dd1047e29ce725aefbc732a0.png
[e27c2888ace16cf41018a326a9c304d5.png]: /images/20221022/a78231efca984a368c365bc0bf7fdc3b.png
[dd7ea1ddd6bb5241c20c70c34f13c9fb.png]: /images/20221022/4496a3bc8fb14b47842c677993ee1865.png
[5fa825f732ed4b233b64f2a835bd8b9c.png]: /images/20221022/1849942b9dd84cf088620734006ba810.png
[17790bde038e02934d38b625471208b2.png]: /images/20221022/b1a3e478489249168ba48558c238a7fc.png
[f3d5498b0991d03bb87855fea707bc93.png]: /images/20221022/e0024d741bff449da217f747adc42fe3.png
[9af347116bdc885e28b7f3f1556613f8.png]: /images/20221022/474eca03f7ea46779d9ad94f94bb6501.png
[ea553f947a545e2735461fe32254883f.png]: /images/20221022/5bf37d9be47a476e9281f239044d556e.png
[38bf4d2d62ba2088443f7618029f1631.png]: /images/20221022/4b2e42c10af049bd9cab11d15daaa30b.png
[d5ce7782c49e83e8a0eb9f32673072f1.png]: /images/20221022/3868233825b7402b986720a4fa19592e.png
[ef58c31908500e118ae248d8d497c397.png]: /images/20221022/0cd844937b84456280cf90d749c59300.png
[fd6a4700bfad3dc1f41f47cca3c05157.png]: /images/20221022/068f1a78739040759b443d6cf11a7e9a.png
[3d9f0cc455b0654af4946f53ae21de9d.png]: /images/20221022/262094e5adcb4f5185def2c4e3af7115.png
[e804af6fb074447ef99d305c49497b57.png]: /images/20221022/6ef14c3bbb984e3a8e2e092103ba2818.png
[f115ae0004e839f04d3c0b0ed3e52270.png]: /images/20221022/08caa691cede41a3a6bb38efb26dc279.png
[b77cba2bed5425b6cad4ea57e9f32363.png]: /images/20221022/2ac236c438314b6c9d8c2df9ffbb4c57.png
[24f9a5e58c619c48ee0cce275f014d8c.png]: /images/20221022/b77fecba6a734c90a55c608e03e1cc49.png
[aaa1345752ebc133f83edcf7b3c88a4d.png]: /images/20221022/1aa4ea97b7fb4568ae1f1e0e8ae30cc4.png
[2d06ce2dcf306553a8b3def1f582d420.png]: /images/20221022/3aa733789d424141b7a1a21f700a8a81.png
[7d5b06262b438befe184f71365668f4e.png]: /images/20221022/586d20206ac34e459d0f7ad63d16f426.png
[0fa1c975825c631eb652322eb4b307a7.png]: /images/20221022/e0dc691a4f374755ad505d23bb67e0f6.png
[7bf26b7c661cf15a95cf95007a02e70c.png]: /images/20221022/ef68b81ddf7b41f696e56f3eb5fb23c7.png
[b1b041dc5d389f49bacd8384f70153b6.png]: /images/20221022/efb1104fc6d6479baba275bac3bb87a2.png
[af725cd8398d10ee4351c16996e17878.png]: /images/20221022/6f34a394dcbc4ac0b9814dcd523d7ed2.png
[48f8f5b1c20f3c169235e02a23235a18.png]: /images/20221022/c777adde459e48c8bb196649cc26e695.png
[964c30bc41000dbcacb0ee99b16d2c9e.png]: /images/20221022/d037ee6abb214a72a0bdecc1bbc54c85.png
[c9f14eb175b62519b1f85ba2802702d1.png]: /images/20221022/79f079a2cd3d4cc081d9fa22617f5e99.png
[1cf39b42ff4c9467eab2aea4de24feb2.png]: /images/20221022/f378298b950147ab9ebbdb0765b10f8d.png
[55d5c5d024459a8c0daec9e4d7cc0ff1.png]: /images/20221022/bbd4e9085a5343b085dd890267b3435f.png
[bf43eeb87931f0161b7660cb4038fd8a.png]: /images/20221022/e88ed14f21264af9a21c6e46743ac00c.png
[e9e8ffd3b6754e17c61bbab686ad6c16.png]: /images/20221022/07bd46e2328d48d39c18d89eee53993f.png
[0d6ab5fef9077f6a6ebc3022feb9def4.png]: /images/20221022/4d22332ab74c4c3e884303d83b1be5af.png
[1276f0f45feaf5f778337dfe7dbeaa02.png]: /images/20221022/38921c44d18249c3a809f5ac9a8322ae.png
[e1509b2571e20d140829e6ed88980d56.png]: /images/20221022/17007243035f427cb6334ddf61b41afc.png
[45c2d42132f39d63979664f5453b09f1.png]: /images/20221022/ea9af319ace5470493a143c5d5b8df72.png
[4249aa59b85d763d6a8793b97a3ca8a8.png]: /images/20221022/fe6e3ee22fb8432ca034e44001b06f14.png