当KPI说谎：数据科学错误的高昂代价

╰半橙微兮° 2022-12-13 04:23 142阅读 0赞

![format_png][]

全文共**3046**字，预计学习时长**8**分钟

![format_png 1][]

图源：unsplash

一家化妆品公司的俄罗斯区经理问我的业务合作伙伴达雅，是不是可以一起做些什么来提升销售业绩？

于是，我们迅速启动了一个示范性试验，更改了两个区域的供应链交付算法。结果非常出色，试验显示短短几天内销售量就能增加10%以上——然而，在以往的经验中，这种情况从未发生。

![format_png 2][]

现货率达97%的货架？就这？

尽管我现在非常信任数字化管理，但上述试验还是给我们敲了个警钟：要注意数据导向型流程可能存在的代价高昂的隐患和陷阱。在本例中，这家公司KPI的测量方式根本是无效的，却换来了一些收获——揭示了一些数据科学错误，犯这些错误的代价可能很高。

![format_png 3][]

试验新的供应链系统

事实上，这家公司的供应链经理看到这个出色效果的第一反应，不是欢欣鼓舞，而是：“这根本不可能！我的KPI没有提升，这个结果肯定出错了。”

此时就要问问过去的KPI是怎样的，示例如下：

![format_png 4][]

测试后的产品可得性

经理是个聪明的老实人。但我开始怀疑，产生这样快速惊人结果的原因，有一部分可能在于公司管理实践中出现了一个基础性盲点。这家公司的产品现货率真的有达到97%吗？于是，我走访了一些门店进行检查，并且亲自拍摄了一些货架：

![format_png 5][]

![format_png 6][]

这些图片与管理层看到的KPI数据表上粉饰出来的数字形成了鲜明的对比。管理层由衷地信任报告上呈现的97%的产品现货率，对此完全没有怀疑，因此无法相信通过供应链需求预测提升销售业绩的可能性。

先前测量的KPI并没有实际提升，那么一项明显与之相关的销售业绩怎么可能提升了呢：这是数据驱动型管理模式的通病，即用错误的数据去回答正确的问题，反之亦然。要了解如何避免犯这类通病，首先要弄清楚为什么会出现这种问题。

![format_png 7][]

**问题：有效推行数字化管理需要用到的新型领导技能**

其实，即便不掺和机器学习和人工智能等数据驱动风潮，推行数字化管理也不容易。事实是，数据越多难度就越大。

·        如何测量KPI：想要系统化地测量产品现货率并不容易，即使只是想要清楚地了解某个区域的库存量，通常也只能达到几个百分点的精确度。就算测量出来了，又怎么知道产品究竟是摆放在货架上还是储存在库房里呢？

·        什么时候测量KPI：多久进行一次测量合适呢？是经常报告（本案例中的每周一次），但是精确度显然不高好呢？还是不那么频繁（每月一次或每季度一次），成本可能更高，但是测量过程更彻底也更精确好呢？

·        为什么要测量KPI：一项KPI应该带来怎样的影响，这是最关键的问题，且应该是任何管理决策的出发点。比如，问产品是否应该供应到店里，或者问产品是否真的存在于店里，或者进一步问产品是否摆放出来了，这其中差别很大。这些问题都合情合理，但是管理者到底为什么要问这些问题，或者换句话说，这些关键指标到底应该带来怎样的影响？

于是，我向管理层咨询了为何要测量这项KPI，以及为什么要用这种方法测量，而得到的答案是：“测量是根据公司的规定进行的（供应链经理）。”

这是一个相当合理的答案，简直就是教科书上抄下来的。这也是大公司的现实，聪明有才能的管理者们不得不花时间处理这些无法带来任何价值的事情。

![format_png 8][]

图源：unsplash

![format_png 7][]

**解决方案：用商业科学推动价值**

我曾在文章里说过：数据科学已亡。而这件事情就是个活生生的例子！

这个过程必须从探求原因开始，否则只对数字进行测量，分析乃至报告可能还没有用。能够通过这次实验证明数据的价值，我很自豪，但我从根本上相信，数据的价值主要根源于管理观念的转变。

·        从问题：如何提高预测准确性？

·        到问题：如何在数据不准确的情况下提升销售业绩？

如果不是直接指向价值创造，那么预测准确度其实不是很重要。举个例子，不准确的KPI测量可能只是导致对效果看法的失真。

![format_png 7][]

**解决3个管理错误源**

要想以最佳的预测准确度和业务影响力来满足需求，一个自主数据科学模型必须能够同时解决这三个错误源：

·        使用错误——对的模型用错了地方，也就是说，就算采用了其他的完美模型也没用。比如，对错误的KPI进行测量。

·        输入错误——对了模型错了输入，也就是说，即使残余误差为零也没用。比如，错误的KPI测量方法。

·        残余误差——错用了有系统性挑战的模型，也就是说，哪怕模型输入很完美也没用。比如，无法提升正确的那个KPI。

![format_png 9][]

图源：unsplash

各种错误的示例：

·        使用错误：比如，借助公司的预算来推动供应链决策，或者凭借从销售人员口中得知的预期估计数据来推断原料和库存采购。这些都是常见的正确模型用错地方的案例，导向的是供应链决策的系统性偏差。

·        输入错误：比如，进行计划外的促销活动，或者遭遇意想不到的宏观经济冲击（像是宏观经济危机或者疫情）。如果输入出了错，哪怕模型非常完美零错误，导出的预测也是错的。

·        残余误差：比如，预测X并观察Y≠X。尽管在偏离最佳解决方案的总体原因中，这种错误一般只占一小部分，却通常被认为是“主要的”错误类型。

![format_png 7][]

**克服数据的局限性：管理自主系统**

关键在于每一个错误源都必须一次性解决。

·        使用错误：为每个特定的用例量身定制一套预测方案

·        输入错误：使用自主测试学习机制适应不可预见的情形

·        残余误差：借助元模型筛选出最优模型组合

![format_png 10][]

为求效率，商业科学必须具备自主性，而不能仅仅是科学。要减少输入错误，最有效的方法是自学习；由于有时候预测出错反而会带来好处，所以学习的目标应该定位在利润而不是准确度！

例如，预期的不良表现可能让测量实现零误差，却会对EBITDA（EarningsBefore Interest、Taxes、Depreciation and Amortization, 税息折旧及摊销前利润）产生负面影响。那么显然，此时要对最优作出不同的定义。自主系统减少了使用和输入错误，却通常是表现不佳的最主要原因。

有效的数字化管理要直接针对利润增长。需求模型要用到像元模型这样的复杂方法，而且可能有部分需要从零探索：这个问题从其本质来讲是极具挑战的，毕竟采购决策一般并不完全合理而且解释不通。

不过，供应模型一直是说得通的。最优供应需要确定好战略目标，比如，确定为最优经济利润扣除未售商品成本；此外，为了满足目标方案的要求，最优供应还需要遵守一系列的限制和规则。

简而言之，这是一个新的人机联盟。一方面，先进的需求模型实现自动化；另一方面，传统且能够得到充分解释的供应端模型保证随时获得最优结果。

![format_png 11][]

人机联盟

这个模型之所以行得通，是因为它同时兼顾了这诸多考量：

·        高级管理人员提升了销售业绩和利润，这部分比技术预测部分更容易看到也更容易理解。

·        事必躬亲式的管理者保留了对计划、目标、约束的控制权，因此可以继续像之前一样设定游戏规则，比如设置各类产品的最小/最大库存量。

·        自学习的驱动力变成了客户的购买决策，而不再是可能出错的KPI数据或者管理信念，因此任何类型的错误（甚至包括神烦的数据错误！）都能够自动实现自我修正。

自主革命将重新定义数字化管理，KPI万岁！

![format_png 12][]

**推荐阅读专题**

[![format_png 13][]][format_png 13 1]

[![format_png 14][]][format_png 14 1]

[![format_png 15][]][format_png 15 1]

[![format_png 16][]][format_png 16 1]

![format_png 17][]

**留言点赞发个朋友圈**

**我们一起分享AI学习与发展的干货**

编译组：黄壹格、郝岩君

相关链接：

https://towardsdatascience.com/expensive-data-science-mistakes-when-your-kpis-lie-ca3df94333dd

如转载，请后台留言，遵守转载规范

**推荐文章阅读**

[ACL2018论文集50篇解读][ACL2018_50]

[EMNLP2017论文集28篇论文解读][EMNLP2017_28]

[2018年AI三大顶会中国学术成果全链接][2018_AI]

[ACL2017论文集：34篇解读干货全在这里][ACL2017_34]

[10篇AAAI2017经典论文回顾][10_AAAI2017]

**长按识别二维码可添加关注**

**读芯君爱你**

![format_png 18][]

[format_png]: /images/20221123/336ac2787ef04a9081928684318a2c05.png
[format_png 1]: /images/20221123/77b0bdc161fc4560ae1502d497977776.png
[format_png 2]: /images/20221123/d7b9463c9ca64685bb93a79939ab82d0.png
[format_png 3]: /images/20221123/c4462bcb9a58495cb41496b74bd5bee3.png
[format_png 4]: /images/20221123/fad5d0733f664ce89e6d3309bab4d6fd.png
[format_png 5]: /images/20221123/da115c1a5eca4601981da74153c14482.png
[format_png 6]: /images/20221123/172dd32c5dbd42ed9a7dae79d509d86e.png
[format_png 7]: /images/20221123/fd35016706e84ad59ca1025f1f4fb879.png
[format_png 8]: /images/20221123/acbd2c12d66a495b8cd722d071f9d0e5.png
[format_png 9]: /images/20221123/e03b05de383c452c9fc88fa8d8bbd663.png
[format_png 10]: /images/20221123/2ffd523ede5342b2aa6e9de1eb5ad50a.png
[format_png 11]: /images/20221123/8a6c645e345449bab05bb843012b8514.png
[format_png 12]: /images/20221123/79f9a5e984b642dfb086996c43c0d674.png
[format_png 13]: /images/20221123/d9833198466746039425025c36afbb27.png
[format_png 13 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d2bb194670056d7ed973cf4349656e20d98bd139d8a5d99526a799fb243f8d&idx=1&mid=2247493138&scene=21&sn=d2fa895e71260f2576fa952cf2487522#wechat_redirect
[format_png 14]: /images/20221123/1e25ec67c43743a1a7d8edbec6e9e646.png
[format_png 14 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cf9a7136dfb1352cf9fb1127b3061293cf716f8ee95b4560e694fce20a1e24&idx=2&mid=2247493135&scene=21&sn=5711dc1074411b7e45b40eb34fecc648#wechat_redirect
[format_png 15]: /images/20221123/1fb3906dc55f410b8d9493a8341cc32a.png
[format_png 15 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d28ed77a111732be52384c9be414e0aad59c570ada6b29278755d066ae2090&idx=2&mid=2247493138&scene=21&sn=e45fe93b00342ba9eac222f24369d036#wechat_redirect
[format_png 16]: /images/20221123/3b232cda036447899822283c9f9bb4e8.png
[format_png 16 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cfbc27f47a160ee926a706f1b3151c53f707c8f221fde0ea51446aabe2148d&idx=1&mid=2247493135&scene=21&sn=cce4cc400933c960a3200fd0dfa4d0a7#wechat_redirect
[format_png 17]: /images/20221123/71ba0b05586a4d4e90f07706419bb012.png
[ACL2018_50]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87ee2addf0673cae27c598a097f5addad5d81b2ed766e570f20fc0fb12b77c5cf34098022e&idx=1&lang=zh_CN&mid=2247489276&scene=21&sn=98e22e2b69478303f1f1a0a51e712570&token=192322725#wechat_redirect
[EMNLP2017_28]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87eaadddf063bb3ab4ec5af616612a45f8d4fe9a5ad558f66278478296060253c1564bd05c&idx=1&lang=zh_CN&mid=2247488123&scene=21&sn=a55185f3a693f7a5d85b1abe3dd36177&token=140500370#wechat_redirect
[2018_AI]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f6ebddf07ffd8e84bcc18d7122f894b6cf5dc967daad9c2e122edb22968fd6f589d6852f&idx=1&mid=2247487037&scene=21&sn=37cd38b305aa874c29d764361c88a202#wechat_redirect
[ACL2017_34]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f59addf07c8c2480dd46784a431612d099d3d0531449aa8e64f68b3ba340363578d95659&idx=1&mid=2247486796&scene=21&sn=a8ae95efbf16985a259c4cd66bf919f2#wechat_redirect
[10_AAAI2017]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&idx=1&lang=zh_CN&mid=2247487100&scene=21&sn=3bd640ec4f00c5104664687194dd9a51&token=77118319#wechat_redirect
[format_png 18]: /images/20221123/d388b07de81d448ca355e0128b4071a6.png