为什么ROC曲线不受样本不均衡问题的影响

我就是我 2022-05-14 02:58 212阅读 0赞

在对分类模型的评价标准中，除了常用的错误率，精确率，召回率和F1度量外，还有两类曲线：ROC曲线和PR曲线，它们都是基于混淆矩阵，在不同分类阈值下两个重要量的关系曲线。

在二分类问题中，分类器将一个实例分类为正样本和负样本，全部分类样本可以用一个混淆矩阵来表示。混淆矩阵有四个分类，如下表:

![这里写图片描述][70]

对于PR曲线，它是精确率（precision，简称P）和召回率（Recall，简称R）的关系曲线，计算式如下：

P=TPTP\+FP,R=TPTP\+FN  P = T P T P + F P , R = T P T P + F N  (1)

对于ROC曲线，它是“真正例率”(True Positive Rate, 简称TPR)，横轴是“假正例率”(False Positive Rate,简称FPR)的关系曲线，计算式如下：

TPR=TPTP\+FN,FPR=FPFP\+TN  T P R = T P T P + F N , F P R = F P F P + T N  (2)

真正例率是在所有正例中，你将多少预测为了正例，这是你希望最大化的，也可以看作收益；假正例率是在所有负例中，你又将多少预测为了正例，这是你希望最小化的，也可以看作代价。

从公式(2)和表中可以看出，**TPR考虑的是第一行，实际都是正例，FPR考虑的是第二行，实际都是负例**。因此，在正负样本数量不均衡的时候，比如负样本的数量增加到原来的10倍，那TPR不受影响，FPR的各项也是成比例的增加，并不会有太大的变化。因此，在样本不均衡的情况下，同样ROC曲线仍然能较好地评价分类器的性能，这是ROC的一个优良特性，也是为什么一般ROC曲线使用更多的原因。

而看公式(1)和表，精确率P考虑的是第一列，实际中包括正例和负例，因此，正负样本数量的变化会引起该值的变化，进而影响PR曲线对分类器的评价。

下图是ROC曲线和PR曲线的对比：

![这里写图片描述][70 1]

a,c为ROC曲线，b,d为PR曲线。(a)和(b)展示的是分类其在原始测试集(正负样本分布平衡)的结果，(c)(d)是将测试集中负样本的数量增加到原来的10倍后，分类器的结果，可以明显的看出，ROC曲线基本保持原貌，而PR曲线变化较大。

[70]: /images/20220514/830855dd15824b34a60b232c6efc1b25.png
[70 1]: /images/20220514/0f29a01a7a4c4de49f6c312f47217fa6.png

发表评论取消回复

表情：

评论列表（有 0 条评论，212人围观）

还没有评论，来说两句吧...

相关阅读

相关分类模型-评估指标（2）：ROC曲线、 AUC值（ROC曲线下的面积）【只能用于二分类模型的评价】【不受类别数量不平衡的影响；不受阈值取值的影响】【AUC的计算方式：统计所有正负样本对中的正序对】

评价二值分类器的指标很多，比如precision、recall、F1 score、P-R曲线等。但这些指标或多或少只能反映模型在某一方面的性能。相比而言，ROC曲线则有很多优点

素颜马尾好姑娘i/ 2023年09月30日 07:53/ 0 赞/ 3 阅读

相关多分类的样本不均衡问题

利用深度学习做多分类在工业或是在科研环境中都是常见的任务。在科研环境下，无论是NLP、CV或是TTS系列任务，数据都是丰富且干净的。而在现实的工业环境中，数据问题常常成为困扰从

待我称王封你为后i/ 2023年09月25日 18:45/ 0 赞/ 3 阅读

相关 Python解决数据样本类别分布不均衡问题

所谓不平衡指的是：不同类别的样本数量差异非常大。数据规模上可以分为大数据分布不均衡和小数据分布不均衡。大数据分布不均衡：例如拥有1000万条记录的数据集中，其中占比50万条

╰半橙微兮°/ 2023年06月02日 08:30/ 0 赞/ 46 阅读

相关 matlab绘制roc曲线,手把手画ROC曲线

假设现在有一个二分类问题，先引入两个概念：真正例率(TPR)：正例中预测为正例的比例假正例率(FPR)：反例中预测为正例的比例再假设样本数为6，现在有一个分类器1，它对

╰+哭是因爲堅強的太久メ/ 2023年01月14日 03:58/ 0 赞/ 202 阅读

相关样本不均衡及其解决办法

1 什么是类别不均衡类别不平衡（class-imbalance），也叫数据倾斜，数据不平衡，是指分类任务中不同类别的训练样例数目差别很大的情况。在现实的分类学习任务

女爷i/ 2022年09月17日 05:22/ 0 赞/ 317 阅读

相关为什么ROC曲线不受样本不均衡问题的影响

在对分类模型的评价标准中，除了常用的错误率，精确率，召回率和F1度量外，还有两类曲线：ROC曲线和PR曲线，它们都是基于混淆矩阵，在不同分类阈值下两个重要量的关系曲线。在二

我就是我/ 2022年05月14日 02:58/ 0 赞/ 213 阅读

相关正负样本不均衡的解决办法

机器学习中，最重要的一个过程就是模型训练，但是在做模型训练之前需要对数据进行预处理也就是常见的数据清洗和特征工程。数据清洗过程中，比较重要的一步就是查看正负样本是否均衡。

素颜马尾好姑娘i/ 2022年04月24日 03:48/ 0 赞/ 278 阅读

相关 ROC曲线

![1365347967_7947.jpg][] ![1365348000_5956.jpg][] ![1365348016_7395.jpg][] ![13653480

短命女/ 2022年04月10日 09:26/ 0 赞/ 308 阅读

相关 ROC、AUC曲线

一 roc曲线 1、roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。横轴：

客官°小女子只卖身不卖艺/ 2022年04月06日 19:14/ 0 赞/ 292 阅读

相关 Roc曲线、AUC

1 概述　　AUC（Area Under roc Curve）是一种用来度量分类模型好坏的一个标准。这样的标准其实有很多，例如：大约10年前在machine lear

梦里梦外;/ 2022年01月28日 02:55/ 0 赞/ 335 阅读