Python scikit-learn，分类模型的评估，精确率和召回率，classification_report

我不是女神ヾ 2022-03-16 09:06 143阅读 0赞

分类模型的评估标准一般最常见使用的是**准确率**（estimator.score()），即预测结果正确的百分比。

混淆矩阵：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70][]

准确率是相对**所有**分类结果；精确率、召回率、F1-score是相对于**某一个分类**的预测评估标准。

**精确率(Precision)：**预测结果为正例样本中真实为正例的比例（查的准）（![\\tfrac\{TP\}\{TP+FP\}][tfrac_TP_TP_FP]）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 1][]

**召回率(Recall)：**真实为正例的样本中预测结果为正例的比例（查的全）（![\\frac\{TP\}\{TP+FN\}][frac_TP_TP_FN]）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 2][]

分类的其他评估标准：**F1-score**，反映了模型的稳健型

![20190227122230967.png][]

--------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 3][]

**demo.py（分类评估，精确率、召回率、F1-score，classification\_report）：**

from sklearn.datasets import fetch_20newsgroups
    from sklearn.model_selection import train_test_split
    from sklearn.feature_extraction.text import TfidfVectorizer
    from sklearn.naive_bayes import MultinomialNB
    from sklearn.metrics import classification_report
    
    # 加载数据集 从scikit-learn官网下载新闻数据集(共20个类别)
    news = fetch_20newsgroups(subset='all')  # all表示下载训练集和测试集
    
    # 进行数据分割 (划分训练集和测试集)
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)
    
    # 对数据集进行特征抽取 (进行特征提取，将新闻文档转化成特征词重要性的数字矩阵)
    tf = TfidfVectorizer()  # tf-idf表示特征词的重要性
    # 以训练集数据统计特征词的重要性 (从训练集数据中提取特征词)
    x_train = tf.fit_transform(x_train)
    
    print(tf.get_feature_names())  # ["condensed", "condescend", ...]
    
    x_test = tf.transform(x_test)  # 不需要重新fit()数据，直接按照训练集提取的特征词进行重要性统计。
    
    # 进行朴素贝叶斯算法的预测
    mlt = MultinomialNB(alpha=1.0)  # alpha表示拉普拉斯平滑系数，默认1
    print(x_train.toarray())  # toarray() 将稀疏矩阵以稠密矩阵的形式显示。
    '''
    [[ 0.     0.          0.   ...,  0.04234873  0.   0. ]
     [ 0.     0.          0.   ...,  0.          0.   0. ]
     ...,
     [ 0.     0.03934786  0.   ...,  0.          0.   0. ]
    '''
    mlt.fit(x_train, y_train)  # 填充训练集数据
    
    # 预测类别
    y_predict = mlt.predict(x_test)
    print("预测的文章类别为：", y_predict)  # [4 18 8 ..., 15 15 4]
    
    # 准确率
    print("准确率为：", mlt.score(x_test, y_test))  # 0.853565365025
    
    print("每个类别的精确率和召回率：", classification_report(y_test, y_predict, target_names=news.target_names))
    '''
                    precision  recall  f1-score  support
        alt.atheism   0.86      0.66     0.75      207
      comp.graphics   0.85      0.75     0.80      238
     sport.baseball   0.96      0.94     0.95      253
     ...,
    '''

**召回率的意义(应用场景)：**产品的不合格率(不想漏掉任何一个不合格的产品，查全)；癌症预测（不想漏掉任何一个癌症患者）

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70]: /images/20220316/92b70e24398e49e0a10190cdafa58116.png
[tfrac_TP_TP_FP]: https://private.codecogs.com/gif.latex?%5Ctfrac%7BTP%7D%7BTP&plus;FP%7D
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 1]: /images/20220316/4d85a7da8554462abdc1b31bc0a68f08.png
[frac_TP_TP_FN]: https://private.codecogs.com/gif.latex?%5Cfrac%7BTP%7D%7BTP&plus;FN%7D
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 2]: /images/20220316/a5a16cd96bea4a59ae3a13a15b72a04b.png
[20190227122230967.png]: /images/20220316/4ce22169bb8b4478a94d36f02590441d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 3]: /images/20220316/5d9e8808c38842daa665cf8d0c0b0d52.png