朴素贝叶斯混淆矩阵，2分类下的混淆矩阵，精确率与召回率，F1-score

清疚 2023-03-01 10:11 13阅读 0赞

**目录**

1.混淆矩阵

2.精确率(Precision)与召回率(Recall)

3. F1-score

4.sklearn API接口

参考文档

--------------------

## 1.混淆矩阵 ##

混淆矩阵就是分别统计分类模型归错类，归对类的观测值个数，然后把结果放在一个表里展示出来。这个表就是混淆矩阵。

在分类任务中，预测结果与正确标记之间存在四种不同的组合，构成混淆矩阵，以下是二分类的混淆矩阵：

![20200414153127816.png][]

假设有一组数据集，一共有66个样本，三个目标值，猫、狗、猪。

混淆矩阵为：

关于这个混淆矩阵，从真实值为猫这一列开始看，代表有18个目标值为猫的样本，预测出10只为猫，3只为狗，5只为猪。所以正确率为10/18=55.5%。

狗这一列有22个样本数，预测结果为1只为猫，15只为狗，6只为猪，正确率68.1%。

猪这一列有26个样本，预测结果为2只猫，4只狗，20只猪，正确率为76.9%。

![70][]

那么对于以上混淆矩阵，可转化为2分类的混淆矩阵，如下：

对于是猫的18个样本（猫），预测不正确的数量为8，正确的数量为10。

对于不是猫的48个样本（非猫），预测不正确的数量为3，正确的数量为45。

![70 1][]

对于预测结果，又把是猫称为正例，不是猫称为假例。

对于预测值的正例，正确的称为真正例TP，不正确的称为伪正例FP。

预测值为假例，不正确的称为伪反例FN，正确的称为真反例TN。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70][]

## 2.精确率(Precision)与召回率(Recall) ##

**精确率**：预测结果为正例样本中真实为正例的比例，用于评估预测的准确性。

如图，正正例TP为10。准确性=10/18=55.5%

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 1][]

**召回率**：真实为正例的样本中预测结果为正例的比例。在真正样本数量下，抽取作为预测样本的数量，评估是否查的全。

以猫为例，在总共18只真猫中，我们的模型认为里面只有10只是猫，剩下的3只是狗，5只都是猪。这5只八成是橘猫，能理解。所以，Recall（猫）= 10/18 = 55.6%

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 2][]

**精确率与召回率的区别**

召回率是先与精确率的，假设真实样本数为100，我们预测了95个，遗漏了5了，那么召回率是95%。

那么在预测了的95个里，预测正确的90个，预测错误的5个，那么精确率为94.7%。

为什么真实样本数为100而实际被预测的只有95个？

假设对于一种分类，如猫，常规来说，猫的特征大致相同，但如果出现某些变异体，其特征与普通的猫差的非常远（如无毛猫），这时候就不太容易作为被预测对象。

**什么时候强调召回率**

对于预测癌症患者，真实样本数（被检测的人）有100人，而预测样本数为95，那么就有5人未被预测，此时的召回率是95%.

但是对于癌症患者来说，宁可误判不能漏判，所以此时就非常强调召回率。

# #

## 3. F1-score ##

F1-score：反应模型的稳健性，F1-Score指标综合了Precision与Recall的产出的结果。F1-Score的取值范围从0到1的，1代表模型的输出最好，0代表模型的输出结果最差。

公式为：

![20200725135842349.png][]

对于猫的案例，F1-Score为：

F1-Score=（2 \* 0.769 \*  0.556）/（ 0.769 +  0.556） = 64.54%

## 4.sklearn API接口 ##

接口：

sklearn.metrics.classification_report(y_true,y_pred,target_names=None)

*  y\_true：真实目标值
 *  y\_pred:估计器预测的目标值
 *  target\_names:目标类别名称
 *  return：每个类别精确率与召回率

一下是sklearn库提供的20newsgroups数据集，有若干篇新闻文章，我们利用朴素贝叶斯算法进行预测。

from sklearn.naive_bayes import MultinomialNB
    from sklearn.feature_extraction.text import TfidfVectorizer
    from sklearn.datasets import fetch_20newsgroups
    from sklearn.metrics import classification_report
    
    def bayes():
        news = fetch_20newsgroups(subset="all")
    
        #训练集划分
        x_train,x_test,y_train,y_test=train_test_split(news.data,news.target,test_size=0.25)
    
        #文本特征抽取
        tf = TfidfVectorizer()
        #估计器：从训练集中抽取文本特征
        tf.fit(x_train)
        #转换器：文本特征值化
        x_train = tf.transform(x_train)
        x_test = tf.transform(x_test)
    
        #调用朴素贝叶斯算法进行预估，P(C|F1,F2..FN)=P(F1,F2..FN|C)*P(C)
        #计算单个样本的特征值在每个分类下的概率
        #平滑系数为1(排除特征值为0的干扰)
        mlt=MultinomialNB(alpha=1.0)
        mlt.fit(x_train,y_train)
    
        predict=mlt.predict(x_test)
        #估算出的目标值与实际目标值对比，满足即预测正确，统计总的正确率
        score=mlt.score(x_test,y_test)
    
        print("预测的文章类别",predict)
        print("精确性：",score)
        print("每个类别的精确率与召回率",classification_report(y_test,predict,target_names=news.target_names))
    
    if __name__ =="__main__":
        bayes()

使用 classification\_report(y\_test,predict,target\_names=news.target\_names)返回精确率与召回率,f1-score

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 3][]

## 参考文档 ##

混淆矩阵 [https://blog.csdn.net/Orange\_Spotty\_Cat/article/details/80520839][https_blog.csdn.net_Orange_Spotty_Cat_article_details_80520839]

[20200414153127816.png]: /images/20230209/a42013378ac24513803e2eeffcec8459.png
[70]: /images/20230209/c664a66bfe1d4cf085494405c4953965.png
[70 1]: /images/20230209/41465aca89bb41f68bfb735cca374cf3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70]: /images/20230209/45310ecb994b47219f722884148f523c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 1]: /images/20230209/686fec643ec04be3941b34aca5463949.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 2]: /images/20230209/97bb997528b8453882d650f715169765.png
[20200725135842349.png]: /images/20230209/853cbe66573044f0b186a27704ff1f05.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 3]: /images/20230209/f32f00c4923949d1bb9822fea4ea1377.png
[https_blog.csdn.net_Orange_Spotty_Cat_article_details_80520839]: https://blog.csdn.net/Orange_Spotty_Cat/article/details/80520839