两道例题详解贝叶斯定理

小咪咪 2022-12-13 12:58 633阅读 0赞

![format_png][]

**导读：**本文首先讲解条件概率及贝叶斯定理，之后有两道例题，看看你都能答对吗？

作者：基思·斯坦诺维奇（Keith E. Stanovich）、理查德·韦斯特（Richard F. West）、玛吉·托普拉克（Maggie E. Toplak）

来源：大数据DT（ID：hzdashuju）

![format_png 1][]

首先来看一些概率的重要准则，这些准则大多数都和我们的直觉相符。

*  概率在0～1之间变化，即0≤P（A）≤1，其中P（A）代表事件A发生的概率。
 *  如果事件确定发生，则其发生概率为1。即，当事件A确定发生时，P（A）=1。
 *  如果事件确定不会发生，则其发生概率为0。即，当事件A确定不发生时，P（A）=0。
 *  如果事件A和事件B不能同时发生，则称它们是互斥的。当事件A和事件B互斥时，任一事件（事件A或事件B）发生的概率就是每个事件发生概率之和，即：**P（A或B）=P（A）+P（B）**

概率计算规则中还有一个重要的概念是**条件概率**（conditional probability）。条件概率是指当某一事件（B）发生时，另一事件（A）发生的概率，即P（A|B）。当事件A和事件B互斥时，则有：P（A|B）=0，因为如果事件B发生，事件A就不可能发生（同样地，P（B|A）=0）。当事件A和事件B不互斥时，条件概率的表达公式为：

![format_png 2][]

需要注意的是，一般来说P（A|B）不一定与P（B|A）相等，因为后者的表达公式中分母不同：

![format_png 3][]

但是，我们可以根据条件概率P（A|B）推算出条件概率P（B|A），反之亦然。这样，通过一个简单的代数运算后，我们就得出了决策理论界最著名的定理之一——**贝叶斯定理**，有时也称为贝叶斯规则。18世纪，英格兰坦布里奇韦尔斯（Tunbridge Wells）城的牧师**托马斯·贝叶斯首先提出此定律：**

![format_png 4][]

上面公式中仅有“～A”符号前面未出现过，“～A”表示“非A”，即事件A不发生。因此，P（～A）是指事件A不发生的概率。

所有这些概率规则都很重要，而对于判断和决策来说，贝叶斯定理尤为重要。贝叶斯定理是我们应该如何基于新证据来更新我们的特定信念的准则。将公式中的A替换为“焦点假设”（标记为H），将B替换为“一组收集的与假设相关的数据”（标记为D），就会得到下面的公式：

![format_png 5][]

公式中，P（H）是指在收集数据之前焦点假设为真的概率估计，P（～H）是指在收集数据之前的备择假设（即～H）为真的概率估计。

公式中还包括其他一些条件概率：P（H|D）表示焦点假设在观察到特定数据之后为真的概率（有时称为后验概率）, P（D|H）是在焦点假设为真的情况下观察到特定数据的概率，P（D|～H）是在备择假设为真的情况下观察到特定数据的概率。

**需要强调的是，P（D|H）和P（D|～H）并不是互补的（它们加起来不等于1.0）。**因为数据有时会看起来既支持焦点假设也支持备择假设，或者两者都不支持。

在一些实际案例中，人们常常很难遵守贝叶斯法则。但需要强调的是，当人们在贝叶斯推理上犯了错误时，并不是指他们计算错误，或得到的数据不准确，而是指他们在概率估计过程中犯了严重的性质上的错误。

简而言之，这些案例考察人们是否具有**贝叶斯思维**的意识，即他们是否对呈现的重要信息和正确的思考方向有足够的敏锐度。标准贝叶斯统计必然包括计算在内，但要避免概率相关的思维错误，人们只需要学会如何基于概率逻辑正确思考即可。

下面两个案例将详细介绍一些常见概率推理错误。

**01 出租车问题**

第一个被称为出租车问题，学术界对这个问题的研究已经超过30年。

> 某个夜晚，一辆出租车肇事后逃逸。该城市共有两家出租车公司，一家公司的出租车均为绿色（“绿色”公司），拥有出租车数量为全市出租车总数的85%；另一家公司的出租车均为蓝色（“蓝色”公司），拥有出租车数量为全市出租车总数的15%。一名目击者称肇事出租车是“蓝色”公司的。法院对目击者的证词进行了测试，发现目击者在出事当时那种情况下正确识别两种颜色的概率是80%。那么肇事出租车是蓝色的概率是多少（用百分数表示，范围从0%到100%）？

被试被告知不必精确计算答案，只需要给出一个大致的估计值。考察的关键点不在于答案的精确度，而在于人们的估计是否在一个大致正确的范围内。很遗憾，许多人的答案并不在这个范围内。

在出租车问题上，贝叶斯定理提供了一个最佳方法，即将给定的以下两条信息结合起来分析：

1.  15%的出租车是蓝色。
2.  目击者认为该出租车是蓝色的（识别准确率为80%）。

**大多数人并不能自然地将两条信息综合考虑。**事实上，很多人在知道了肇事出租车为蓝色的概率只有0.41后感到很震惊，因为他们没有意识到尽管目击者声称肇事车辆是蓝色的，但是肇事出租车仍更可能是绿色的（0.59），而非蓝色的（0.41）。原因是出租车是绿色的先验概率（85%）高于目击者识别出租车为蓝色的可信度（80%）。

如果不使用贝叶斯计算公式，我们来看一下0.41的概率是如何得到的：

在100起此类事故中，15辆出租车是蓝色的，而目击者能够正确辨认其中的80%（12辆）；同样在这100起事故中，有85辆出租车是绿色的，而目击者会将其中的20%（17辆）辨认为蓝色。因此，将会有29（12+17）辆出租车被辨认为蓝色，而事实上只有12辆是蓝色的，所以肇事出租车是蓝色的概率为41%。

根据贝叶斯法则，计算公式如下：

![format_png 6][]

只有不到一半的被试给出的答案介于0.20～0.70，而大部分答案接近0.80。简而言之，他们的答案依据的是目击者正确辨认的概率，**而没有根据较低的先验概率（0.15）对目击者的判断概率打折扣。**

大多数人高估了肇事出租车是蓝色的可能性，因为他们将注意力集中在目击者的辨认上，而忽视了蓝色出租车的基础概率。在需要结合抽象概率信息进行判断时，人们往往会倾向于高估具体的鲜活的个案信息。

**02 医疗风险评估**

第二个例子与出租车问题的逻辑相同，但是更贴近日常生活，涉及医疗风险评估的问题，同样被许多研究所关注：

> 假设XYZ病毒能够引起严重的疾病，该病发病率为千分之一。假设有一种化验方法，可以精准地检测到该病毒。也就是说，如果一个人携带XYZ病毒，一定可以被检测出来。但是该项化验的假阳性率为5%，即健康人接受该项化验，会有5%的可能性被误诊为病毒携带者。假设从人群中随机选择一人进行检测，化验结果为阳性（阳性意味着受检者可能是XYZ病毒携带者）。那么，在不考虑具体症状、病史等情况下，此人携带XYZ病毒的概率是多少？（用百分数表示，范围从0到100%。）

最常见的答案是95%，而正确答案是约为2%！人们极大地高估了阳性结果代表个体为XYZ病毒携带者的概率，这与出租车问题一样，**人们倾向于重视具体信息，而忽视基础概率信息。**

尽管使用贝叶斯法则能够计算出正确答案，但是简单的数学推理也能帮助我们厘清基础概率对预估结果产生的巨大影响。我们已知的信息是：每1000人中只有1人是真正的XYZ病毒携带者。如果另外999位未携带病毒者全部接受化验，由于化验的假阳性率为5%，那么将有约50人的检测结果呈假阳性（0.05乘以999），因此有51人检测结果呈阳性，而实际上只有1人（约2%）为真的病毒携带者。

总之，由于XYZ病毒的基础感染率非常低，绝大多数人并未感染，再加上较高的化验假阳性率，因此可以推断大部分检查结果为阳性的人并非病毒携带者。

根据贝叶斯法则，计算如下：

![format_png 7][]

![format_png 8][]

**小结**

在以上两个例子中，很多人高估了个案证据，而低估了统计证据。对大多数人来说，个案证据（目击者辨认、实验室化验结果）看起来更“具体”、更“触手可及”、更“活灵活现”。相比来说，概率证据看起来好像太过抽象了，因而无法使用！

这种想法当然是错误的，**因为个案证据本身也是概率性的。**目击者只能在一定程度上做出正确辨认，临床检验也有一定程度的误诊率。人们若想做出正确决策，就必须同时考虑情境中涉及的两种概率：个案证据正确的概率和先验概率。

在所有的基础概率问题中，若想做出正确决策，人们必须将个案证据的判断概率与先验概率结合起来。正确的做法是，要么用贝叶斯公式进行计算，要么基于贝叶斯法则将基础概率和个案信息结合起来进行推理。

对于贝叶斯推理的讨论，我们并不是期望人们使用贝叶斯公式进行具体计算，而只是**希望人们学会从定性的角度进行“贝叶斯式思考”，或者形成“贝叶斯直觉”。**

比如，仅仅意识到基础概率的重要性，就足以使人们洞察到隐藏在XYZ病毒问题中的关键点：假阳性率较高的检查方法应用于基础发病率很低的疾病时，多数检查结果呈阳性的个体其实可能并未患病。

简而言之，这部分题目测量的是人们对概率的自然判断是否或近似遵循了贝叶斯定理。很明显，人们的概率判断往往采用“大致估计”的策略。我们提倡在“大致估计”时，应遵循贝叶斯法则。遵循贝叶斯法则无须知道贝叶斯公式，也不需要进行任何有意识的计算。

关于作者：基思·斯坦诺维奇(Keith E.Stanovich)，加拿大多伦多大学人类发展与应用心理学终身荣誉教授，曾任加拿大应用认知科学首席科学家。他的研究领域是推理、决策和阅读的心理学机制，至今已发表200多篇科学论文，出版8部著作。丹尼尔·卡尼曼在其诺贝尔奖致辞中也多次引用斯坦诺维奇的研究成果。

本文摘编自《理商：如何评估理性思维》，经出版方授权发布。

延伸阅读《理商：如何评估理性思维》

点击上图了解及购买

转载请联系微信：DoctorData

**推荐语：**《超越智商》作者基思·斯坦诺维奇新作，诺贝尔奖得主卡尼曼力荐！介绍了世界上第一个评估理性的工具——理性思维综合评估测验。颠覆传统智商观念，引领人类迈入理性时代。

![音符][format_png 9]

**划重点????**

**干货直达????**

*  [什么是HBase？它是怎样工作的？终于有人讲明白了][HBase]  
    
 *  [人工智能7大关键技术，终于有人讲明白了][7]
 *  [6种数据分析实用方法，终于有人讲明白了][6]
 *  [阿里动物园新成员来了，10本书带你读懂这个新物种][10]

**更多精彩????**

在公众号对话框输入以下**关键词**

查看更多优质内容！

**PPT** | **读书** | **书单** | **硬核** | **干货**** **| **讲明白 **|** 神操作**

**大数据** | **云计算** | **数据库** | **Python** | **可视化**

**AI** | **人工智能** | **机器学习** | **深度学习** | **NLP**

**5G**** **|** 中台 **|** 用户画像**** **| **1024** | **数学 **|** 算法 **| **数字孪生**

据统计，99%的大咖都完成了这个神操作

**????**

![format_png 10][]

![format_png 11][]

[format_png]: /images/20221123/1e1c3e65e9f04467ac38deede8e94d0a.png
[format_png 1]: /images/20221123/65151e4edeed43feb17ef256c92f23ab.png
[format_png 2]: /images/20221123/2734d180af9f419cb1f6e0ccfa415507.png
[format_png 3]: /images/20221123/3edbeac26d8c4ae09cb1137161dcb01e.png
[format_png 4]: /images/20221123/5e484779771b415da8dd2648a94a476f.png
[format_png 5]: /images/20221123/3b827f1494e04daeaf537d443aa18cd8.png
[format_png 6]: /images/20221123/271cdb6060a64ca089a26c670e12381a.png
[format_png 7]: /images/20221123/5b71cd9749e24347a68d88283e898a18.png
[format_png 8]: /images/20221123/37973d5e544a43e485bd447604549081.png
[format_png 9]: /images/20221123/a067375a708943f886c3676e2a8bef58.png
[HBase]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cc81edbfb41084bc6738ea27a62e183ba57e08d68a3c266db0b6fb452b1c67de26949a209&idx=2&mid=2247516658&scene=21&sn=31bb84842fdb01d2fadbf58e57517dc3#wechat_redirect
[7]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cc839dbfb412f0b6be103365ebc6ecb641dd5f36173121e974e20ce47e7f3980624afdff0&idx=2&mid=2247516629&scene=21&sn=eec714fe5c9ccfb77941c994f2c8c4bb#wechat_redirect
[6]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cc83fdbfb4129bff7a5caf64700794ca4e2fad5810433e693cb5064c568941da83878179a&idx=2&mid=2247516627&scene=21&sn=7e4400068046b9baac2cd6cd6088cc2c#wechat_redirect
[10]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cc83cdbfb412a2167113500ca566bffd1725b5669fe9eacc254fd558e3421330d0b523ab4&idx=2&mid=2247516624&scene=21&sn=5ab55e203cda14c6740b622fc382aae9#wechat_redirect
[format_png 10]: /images/20221123/f6daaf3f9c7440b5a1881d26cb68c21f.png
[format_png 11]: /images/20221123/21cdf5d0fc6548c0a1b2c080d42cdac9.png