谈谈“发布后问题”的度量

亦凉 2022-10-29 07:54 160阅读 0赞

为了准确的评估产品在市场、用户侧的落地效果，企业往往会为产品建立相对完善的问题收集处理机制。发布后问题（有的时候也称为线上问题）是软件产品质量的一个重要度量科目。通过对发布后问题的收集、分析，一方面可以更清晰的了解产品发布后的质量表现，另一个方面也可以促进企业前后端组织的协同和工作流程的优化。

一般来说，我们会从发布后问题的数量上来看待一个产品发布后的质量表现，但这并不客观且无法横向对比几个产品的质量表现。比如说A产品交付给了十家客户1月份总共出现了20个发布后问题；B产品交付给了100家客户，1月份总共出现了50个发布后问题。很显然，我们是不能用发布后问题的数量这个指标来说A的产品质量要好于B产品，因为单位客户情况下B产品的发布后问题数量明显小于A产品。但这就能说明B产品质量好于A产品吗？也不一定。比如：A产品的研发复杂度也许更高，在售后服务体系一致的情况下质量问题跟复杂度成正比；B产品交付过程中保障措施更完备、服务很到位使得问题暴露的几率大大降低。

因此，我们引入了“发布后问题密度”这个指标。这个指标的计算方式为：发布后问题密度=发布后问题数量/产品规模。这个公式不难理解，难的是要搞清楚什么是产品规模，以及产品规模怎么核算。在讨论如何定义和核算产品规模之前，我们需要理解一个概念，即无论怎么定义以及核算产品规模都无法精准的算出发布后问题密度，而且这个精准度的提升也会导致整个度量成本的大幅提升。减少发布后问题的产生，是多方面单位产出的保障，同样的产品，多方面单位投入的规模越大，出现问题的几率越低（注意，这是几率事件，不要拿极端情况来说）。我们把产品从设计到研发，从研发到发布、交付到客户使用各个环节的投入加到一起作为产品规模，不仅仅是人的投入，也包含“物”的投入。比如有的客户为了系统更稳健采购了硬负载，为了系统安全采购了大量网安设备。按照上面说的公式，我们可以得到一个单位投入下发布后问题数量作为问题密度。这种算法是否可信可靠呢？显然不靠谱，因为核算太复杂了。“发布后问题密度”指标看上去很美好，但可操作性很低。

有朋友会问，我只比较某个产品这个月比上个月发布后的质量，是不是就不需要“发布后问题密度”这个指标了，直接看问题数量是不是就行了？我只能说除非你的销售数量一直不变并且你的产品已经处于基本的运维期了。

回归本质，发布后问题的收集和分析并不是为了做产品间的质量对比，而是为了推进产品质量优化以及改进工作流程。那么发布后问题的哪些指标更有价值呢？比如问题响应时长、处理时长、验证时长、生命周期时长。指标之外，对发布后问题的分析、复盘、解决措施固化到工作流程比度量本身更为重要。

我们关于问题生命周期的几个定义可供参考：

**问题生命周期：**问题从提出到关闭的整个周期。用于度量产研-交付团队对于问题的整体处理效率。如果大量问题生命周期过长，则说明从交付到产研的协作中可能存在效率问题。

**问题响应时长：**问题从记录到开始解决的时长。

**问题解决时长：**问题从开始解决到提交验证的时长。用于度量产研团队问题处理效率，如果问题解决时长很高，则说明可能存在效能问题或人力不足等问题。

**问题验证时长：**问题从提交验证到关闭。用于度量问题验证效率。如果问题很重要，达到P1或P2，但是验证需要耗费2、3天，则说明可能存在问题胡乱定级、验证人对系统不熟等问题。

![25c10e76ee797b74919b5c00f6cff578.png][]

请关注

![bf00a13fe04ffcf53c8341f21201b5bb.png][]

![f30257284ff88954d77cc4da13c9fc3f.png][]

（喜欢请转发，谢谢！）

加入爱测未来qq群，获取更专业的技术知识分享：

274166295  （爱测未来二群）

610934609  （爱测未来三群）

195730410  （爱测未来四群）

更多精彩文章：

**[谈谈你知道的发布上线（一）][Link 1]**

[**漫谈测试平台—平台建设思路（上）**][Link 2]

**[漫谈测试平台—建设模式探讨][Link 3]**

[为了干掉jenkins，我们设计了自己的调度模块][jenkins]

[移动端H5调试与自动化][H5]

[官宣！测试嘉年华报名开始了（内有福利）][Link 4]

[出来混，是要有干货滴！！！测试嘉年华分享主题放送][Link 5]

[Android兼容性测试应该怎么做逼格更高呢？][Android]

[JVM性能调优][JVM]

[MTP-移动测试平台][MTP-]

[性能分析之OS资源饱和度][OS]

[前端性能监控][Link 6]

[来自520的福利----视频直播平台性能测试][520_----]

[前端性能测试平台及应用][Link 7]

[震惊性能测试圈的经典案例！！][Link 8]

[在airtest中使用ocr反向识别文本内容][airtest_ocr]

[数据库性能分析与优化（爱测未来团队内训材料）][Link 9]

[25c10e76ee797b74919b5c00f6cff578.png]: /images/20221024/c8983cbe30884fda842536c867d6f564.png
[bf00a13fe04ffcf53c8341f21201b5bb.png]: /images/20221024/c2042b4f8a0846b1a8c05b8dc86f7f08.png
[f30257284ff88954d77cc4da13c9fc3f.png]: /images/20221024/58e85664f11d4f538acfdd15f8fcbba5.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247486179&idx=1&sn=33f26576497f7529c575b83215a7c775&chksm=e8e575fbdf92fcedbdf6d4849128b193c337d96ce196404391a36f5c37449f6751c122b17177&scene=21#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzAxNTk1MzU3Nw==&mid=2247483739&idx=1&sn=2b85e0bda08010928c140cf31ecefd59&chksm=9bfd7a9dac8af38b8475f57b9806972f2265900eaf6d9b09eadb01835cfdbfc334f319652e80&scene=21#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247486123&idx=1&sn=5ddc224b1a9ab67d324105c910b3f595&chksm=e8e575b3df92fca5a07040556ffdea20a32683af6f3241460eb3dc42ec3b64e21ffac6487526&scene=21#wechat_redirect
[jenkins]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247485586&idx=1&sn=4e28dcb901b6ddb84b12d9ea4d09b360&chksm=e8e5778adf92fe9c5e4225cec42b4bd1bf84965b77378da637a6d5d448127ac4459a3abca91b&scene=21#wechat_redirect
[H5]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247483979&idx=1&sn=7dfe9b5272e8e4114a044c7004217554&chksm=e8e57d53df92f445386a07a3f9857c5387afe46b32099e964048e3153b71c0dbef94f6021519&scene=21#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247485570&idx=1&sn=f99f3f24c9de3dc06e96e5ae57980086&chksm=e8e5779adf92fe8ce97a56e758f53affdfa6f33372712e7793bdb55ce3c7d089443c6324009e&scene=21#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247485565&idx=1&sn=3982eae04413bb646270c0328d404c19&chksm=e8e57765df92fe7310c4da53fc8e88bf2035cfbeabe42575e509413c705d7f7cc5b0cef0696e&scene=21#wechat_redirect
[Android]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247485367&idx=1&sn=47d25a996707eea2068414d91f92d9b9&chksm=e8e578afdf92f1b9746d583b2a9fe164983be4ec531eab97f610bb55412f55af9029fbc67a06&scene=21#wechat_redirect
[JVM]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247485348&idx=1&sn=4fe30e15f668db9c457188c6de75b999&chksm=e8e578bcdf92f1aa714f52eff622fb6ba4e87c7dc8351f722a397e8c4e54c7ca4303900a7d73&scene=21#wechat_redirect
[MTP-]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247485194&idx=1&sn=448d170ee990a75e88bedb269476519e&chksm=e8e57812df92f1049d871284489732396157d183364e45f868c71527a91f5f34138922f015bc&scene=21#wechat_redirect
[OS]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247485367&idx=2&sn=7a850720ec5d1c86e2c2296ff17e00e9&chksm=e8e578afdf92f1b94d7d8896c7d74fff4694407f4ecf9234388c1633f0904b19505bee921b35&scene=21#wechat_redirect
[Link 6]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247484484&idx=1&sn=6d280c97689d9bfd47862f11acb0465b&chksm=e8e57b5cdf92f24ad6c3d1b360ff47bf3e1c64888676838780d11ed7ac636b85259b74a6b67c&scene=21#wechat_redirect
[520_----]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247484887&idx=1&sn=67b21e3248a66544973065f86d1a2f0b&chksm=e8e57acfdf92f3d94b9f363a75fc59a5332671fc616f14e575fc9f643346abafd0498cf60c53&scene=21#wechat_redirect
[Link 7]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247484099&idx=1&sn=87416e2b4d41fe49689e1b4c8c3c8406&chksm=e8e57ddbdf92f4cdc0ada1d3b93b431c7094eb802b43fea8816b42f6b2bf9c706047d6c1a2af&scene=21#wechat_redirect
[Link 8]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247484831&idx=1&sn=f0eabefe0857ecf36c0102c93641ecf4&chksm=e8e57a87df92f3913b79e6f85f667fa846c2c910b84a54b3b19ab47b0ceae7e5cf70a68324dd&scene=21#wechat_redirect
[airtest_ocr]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247485428&idx=1&sn=fa65ed69448bd00ced03e235f3d2b64a&chksm=e8e578ecdf92f1facd13bed2c7f4cb6f9ecc4d864b9fffc00b4accc2e594b1df0ec2592c4273&scene=21#wechat_redirect
[Link 9]: http://mp.weixin.qq.com/s?__biz=MzIzNTYyOTE3NQ==&mid=2247485422&idx=1&sn=1bdba39ca407414eb2da4b1d97eb7a50&chksm=e8e578f6df92f1e0991ea938c38f539b492a8020a5a03074feb15ee27d593a970b83a2b6aa63&scene=21#wechat_redirect