python3机器学习朴素贝叶斯分类

落日映苍穹つ 2021-12-17 11:37 316阅读 0赞

# **目录** #

1.概述

2.算法原理

3.假设特征条件独立的原因

4.案例解析

--------------------

# 1.概述 #

> 贝叶斯分类是机器学习分类算法中的一类，此类算法的理论依据为“**贝叶斯定理**”和“**特征条件独立**”，而朴素贝叶斯分类（Naive Bayes Classifier, NBC）是贝叶斯分类中最简单的一种，也是常见的一种分类方法。
> 
> **优点**：其相比于决策树分类有着**坚实的数学基础**以及**稳定的分类效率（对不同类型数据集不会呈现出太大的差异）**，同时NBC**所需估计的参数较少**，对**缺失数据不敏感**，算法**简单**，理论上与其他分类方法相比**具有最小的误差率**。
> 
> **缺点**：假设属性之间相互独立（在实际应用中往往不成立，属性越多，分类效果越差）

# 2.算法原理 #

> 设有样本数据集 ![format_png][] ，对应样本数据的特征属性集为![format_png 1][]，类变量为![format_png 2][]，即
> 
> ![format_png 3][]可以分为m个类别。其中![format_png 4][]相互独立且随机，则![format_png 5][]的[先验概率][Link 1]![format_png 6][]，![format_png 5][]的后验概率![format_png 7][]，由朴素贝叶斯算法可得，后验概率可以由先验概率![format_png 6][]、证据![format_png 8][]、类条件概率![format_png 9][]计算出：
> 
> ![20190709144444342.png][]
> 
>  朴素贝叶斯基于各特征之间相互独立，在给定类别为 ![format_png 10][] 的情况下，上式可以进一步表示为下式：
> 
> ![20190709144545705.png][]
> 
>  由以上两式可以计算出后验概率为：
> 
> ![20190709144624790.png][]
> 
> 由于 ![format_png 11][] 的大小是固定不变的，因此在比较后验概率时，只比较上式的分子部分即可。因此可以得到一个样本数据属于类别 ![format_png 12][] 的朴素贝叶斯计算如下图所示： 
> 
> ![20190709144726780.png][]

# 3.假设特征条件独立的原因 #

> **案例背景**：
> 
> **女生择偶**\{嫁，不嫁\}
> 
> **-->** 男生衡量特征\{ **长相**（帅，不帅），**性格**（很好，好，不好），**身高**（高，中，矮），**进取心**（上进，不上进）\}
> 
> ![20190708174336331.png][]
> 
> **原因一**：
> 
> 要想计算出左侧的概率，那么就需要计算出右侧的概率，**若特征之间不相互独立**，右侧的概率就需要在概率空间中进行统计。以案例背景出发，共4个特征，那么特征联合概率分布总共是4维空间（**特征空间**），总数为2×3×3×2=36个。而现实中的特征往往非常多，特征的取值也非常多，此时，若想通过统计的方式计算右侧部分的客观概率变的几乎不可能。
> 
> **原因二**：
> 
> 若假设特征之间并不相互独立，则右侧的概率需要在特征空间中进行统计，那么，由于数据的稀疏性，很容易出现某个概率为0的情况，因此，这是不合适的。

![20190709075901554.png][]

# 4.案例解析 #

> [https://blog.csdn.net/LEE18254290736/article/details/82414685][https_blog.csdn.net_LEE18254290736_article_details_82414685]
> 
> 以上链接所给案例解答过程较为详细，可进行参考。

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9nc3MxLmJkc3RhdGljLmNvbS8tdm8zZFNhZ194STRraEdrcG9XSzFIRjZoaHkvYmFpa2UvcyUzRDEzMC9zaWduPTY0YWJlNDFkZGVhMjBjZjQ0MjkwZmFkYzQ2MDg0YjBjLzhjYjFjYjEzNDk1NDA5MjNlMDdkMDBlNDljNThkMTA5YjNkZTQ5MTcuanBn?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9nc3MxLmJkc3RhdGljLmNvbS85dm8zZFNhZ194STRraEdrcG9XSzFIRjZoaHkvYmFpa2UvcyUzRDEyOC9zaWduPTYxMjNhZWIzODgxODM2N2FhOTg5N2JkZjE2NzI4YjY4LzI3OTc1OWVlM2Q2ZDU1ZmI2Mzg5MTViYzYzMjI0ZjRhMjFhNGRkZDkuanBn?x-oss-process=image/format,png
[format_png 2]: /images/20211213/261df3d46a2a443bb2fcf568ca263ba6.png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9nc3MyLmJkc3RhdGljLmNvbS8tZm8zZFNhZ194STRraEdrcG9XSzFIRjZoaHkvYmFpa2UvcyUzRDEzL3NpZ249NTIwODM4YWMxMzk1MGE3YjcxMzU0YWM3MGJkMTg5ZDgvN2FlYzU0ZTczNmQxMmYyZWE3MzhjZGZhNDFjMmQ1NjI4NTM1Njg2ZS5qcGc?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9nc3MzLmJkc3RhdGljLmNvbS8tUG8zZFNhZ194STRraEdrcG9XSzFIRjZoaHkvYmFpa2UvcyUzRDg1L3NpZ249YjgxMGQxYWJhZjhiODdkNjU0NDJhNjFhMDYwOGI1ZWEvYTA0NGFkMzQ1OTgyYjJiN2RiYWU1YTVlM2ZhZGNiZWY3NjA5OWI3Mi5qcGc?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9nc3MyLmJkc3RhdGljLmNvbS85Zm8zZFNhZ194STRraEdrcG9XSzFIRjZoaHkvYmFpa2UvcyUzRDEyL3NpZ249MjZjZTBhY2EzYWE4NWVkZmZlOGNmYTIxNGI1NDBkZGEvYjIxOWViYzRiNzQ1NDNhOTE4ZDk5OTU2MTAxNzhhODJiODAxMTQ2ZC5qcGc?x-oss-process=image/format,png
[Link 1]: https://baike.baidu.com/item/%E5%85%88%E9%AA%8C%E6%A6%82%E7%8E%87/6106649
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9nc3MxLmJkc3RhdGljLmNvbS85dm8zZFNhZ194STRraEdrcG9XSzFIRjZoaHkvYmFpa2UvcyUzRDkyL3NpZ249ZWNkZmIxNjc3NTg5OWU1MTdjOGUzNjE2NDNhNzQ1ZmMvNDcyMzA5Zjc5MDUyOTgyMmFiMmI1YjU5ZDljYTdiY2IwYTQ2ZDQxNC5qcGc?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9nc3MwLmJkc3RhdGljLmNvbS8tNG8zZFNhZ194STRraEdrcG9XSzFIRjZoaHkvYmFpa2UvcyUzRDEwMi9zaWduPTNiNTk4M2FkM2JmYWU2Y2QwOGI0YWY2MTNkYjIwZjllL2RiYjQ0YWVkMmU3MzhiZDQxZjZlZDBhYmFmOGI4N2Q2MjY3ZmY5ZDkuanBn?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9nc3MyLmJkc3RhdGljLmNvbS85Zm8zZFNhZ194STRraEdrcG9XSzFIRjZoaHkvYmFpa2UvcyUzRDM2L3NpZ249OTlmMmRhYTg1NGFmYTQwZjM4YzZjOGRiYWE2NDU5ZTMvNTAwZmQ5ZjlkNzJhNjA1OWNmMmY4YzgwMjYzNDM0OWIwMzNiYmE2OS5qcGc?x-oss-process=image/format,png
[format_png 9]: /images/20211213/d6c12ba268024279bf2cc5962bb26930.png
[20190709144444342.png]: /images/20211213/9527f86a42b6421ab58e4a4b13316692.png
[format_png 10]: /images/20211213/e2e7f193de0e419dae566071d2400325.png
[20190709144545705.png]: /images/20211213/a209b350529e42e9bb4617e10e055d4c.png
[20190709144624790.png]: /images/20211213/06778127bb6c43dab84944033b76975c.png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9nc3MxLmJkc3RhdGljLmNvbS85dm8zZFNhZ194STRraEdrcG9XSzFIRjZoaHkvYmFpa2UvcyUzRDM2L3NpZ249MjZmZmE4NzRiYThmOGM1NGU3ZDNjMzI5M2IyOTM3MGYvODMwMjVhYWZhNDBmNGJmYjcyNDNmMGNlMGQ0Zjc4ZjBmNjM2MTg5Yy5qcGc?x-oss-process=image/format,png
[format_png 12]: /images/20211213/f8c00f924445476c867dea6521bb1d39.png
[20190709144726780.png]: /images/20211213/0194f5457c044d989fd8ee0bf259a159.png
[20190708174336331.png]: /images/20211213/e9d90ec432884ef0a968070bfc775b2a.png
[20190709075901554.png]: /images/20211213/fe01b0bcb1404a5da6babbd781225d2c.png
[https_blog.csdn.net_LEE18254290736_article_details_82414685]: https://blog.csdn.net/LEE18254290736/article/details/82414685