机器学习中ROC曲线和AUC评估指标

╰+哭是因爲堅強的太久メ 2024-03-31 10:26 25阅读 0赞

#### 目录 ####

*   *   *  1.真正例率（TPR ）与 假正例率（FPR）定义
         *  2.ROC曲线（接受者操作特性曲线，receiver operating characteristic curve）
         *  3.AUC（ROC曲线下的面积）指标
         *  参考链接

ROC全称是接受者操作特性曲线（receiver operating characteristic curve）。AUC（Area Under the Curve）ROC曲线下的面积，用于衡量“二分类问题”机器学习算法的性能。对此，为了定义ROC曲线，首先我们由混淆矩阵引入“真正例率”（True Positive Rate，简称TPR）和“假正例率”（False Postive Rate，简称FPR）。

#### 1.真正例率（TPR ）与 假正例率（FPR）定义 ####

*  混淆矩阵可定义为：  
    　　![在这里插入图片描述][7a9b35be2f974a6c8e7eb05e4c11235e.png]
 *  TPR 与 FPR 的计算公式如下：  
    　　　![在这里插入图片描述][b8cdcf7db5de4f2dbd93d8e1ceab7bff.png]

假正例率：对应的是真实负样本中分类结果为正样本的比例。

真正例率：对应的是真实正样本中分类结果为正样本的比例。

#### 2.ROC曲线（接受者操作特性曲线，receiver operating characteristic curve） ####

![在这里插入图片描述][78966550eaba42de824ba196cc9a48ea.png]  
其中横坐标为假正例率（所有负例中，有多少被错误地判定为正），纵坐标为真正例率（所有正例中，有多少被正确地判定为正）。

上图中虚线表示随机猜测算法的ROC曲线。随机猜测是指：对待一个二分类问题，我们不去讨论如何分配，而是随机去分配，这样分到的结果为正确的和错误的都占1/2。因此，其ROC曲线为 y = x y=x y=x,我们可以这么认为：

*  模型的ROC曲线在随机猜测曲线（ y = x y=x y=x）的上方则说明模型的性能较好，并且越靠经左上角，模型可用性越高。
 *  模型的ROC曲线在随机猜测曲线（ y = x y=x y=x）的下方则说明模型的性能较差，越靠近右下角，模型越不可用，但这也不是绝对的，如果模型的曲线趋于右下角，说明模型的错误率越高，我们可以试图将结果取反来建立模型。
 *  模型的ROC曲线与随机猜测曲线（ y = x y=x y=x）的结果相同，说明模型的效果与随机猜测的效果一致，没有利用的价值，因此，我们要通过调参提高模型的性能。

![在这里插入图片描述][437ab9c32cf34c68b6e9cb626f1217fe.png]

绘制ROC曲线的思想是，通过调整模型预测的阈值可以得到不同的点，将这些点连成的一条曲线。认为模型测试为正样本的概率大于阈值的测试样本为正样本，认为模型测试为正样本概率小于阈值的测试样本为负样本。并且， 阈值取不同值，TPR和FPR的计算结果也不同，最理想情况下，我们希望所有正例和负例都被成功预测（ TPR=1，FPR=0），即 所有的正例预测值 > 所有的负例预测值，此时阈值取最小正例预测值与最大负例预测值之间的值即可。但现实中，一般。ROC曲线越靠拢（0,1）点，越偏离45度对角线，模型的性能越好。

#### 3.AUC（ROC曲线下的面积）指标 ####

AUC（Area Under Curve）定义为ROC曲线下的面积，其取值0~1之间，但我们目的是需要使ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围一般在0.5和1之间。使用AUC值作为评价标准时，很多时候并不能很明显的区别ROC曲线表示的分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。  
![在这里插入图片描述][b73803e33c30494789d189c6e9f0311a.png]  
我们可以得到以下结论：

*  AUC = 1，是理想分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。
 *  0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。一般我们的模型的 AUC值就处于该区间。
 *  AUC = 0.5，跟随机猜测一样，模型没有预测价值。
 *  AUC < 0.5，比随机猜测还差；但是如果取反预测，就优于随机猜测。

#### 参考链接 ####

1.[ROC曲线和AUC][ROC_AUC]

[7a9b35be2f974a6c8e7eb05e4c11235e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/5eaf50ddfcf8452a952c862e73052fdd.png
[b8cdcf7db5de4f2dbd93d8e1ceab7bff.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/dd54b47f476f44f394030bca6f3766ca.png
[78966550eaba42de824ba196cc9a48ea.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/a97bb27b9fe047a1bd5751b199eb87b3.png
[437ab9c32cf34c68b6e9cb626f1217fe.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/8f41e023e47d443cad2fa5d0e2192e62.png
[b73803e33c30494789d189c6e9f0311a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/6e61640f41c74532a72bea74240e09f9.png
[ROC_AUC]: https://blog.csdn.net/m0_56945333/article/details/124275537