F1,AUC的区别与选择

曾经终败给现在 2022-08-28 09:49 207阅读 0赞

# 1. 引入 #

评价一个分类器模型的效果，可以用交叉验证，也可以根据场景将数据切分为训练集、测试集，评价指标有Accuracy,F1-Value,AUC等。

那我们该如何选择评价指标呢？不同场景下选择哪个指标更合理呢？

# 2. 原理区别 #

1.  Accuracy

*  准确率
 *  准确率高的模型，不一定是好模型
 *  比如癌症预测，100个人中只有一个病人，若分类器都输出0，准确率为99%，但我们都知道这无法找到任何一个癌症病人
 *  所以大部分场景，都不能直接根据Accuracy来评价模型

1.  F1-Value

*  综合考虑了Precision和Recall的结果
 *  能很好的平衡Precision和Recall
 *  适用于大部分场景
 *  若数据分布不平衡，则会选择F1进行评估（参考2）

1.  AUC

*  AUC越大，表示True Positives 和 True Negatives 之间的差异就越大

# 3. 总结 #

1.  F1希望训练出一个不放过任何一种可能的模型

*  比如欺诈检测、癌症检测，漏诊是不负责的，宁可错杀一千，也不放过一个

1.  AUC希望训练出一个尽量不误报的模型

*  比如推荐算法，推荐错了用户会非常反感

1.  ACC大部分场景都不能直接根据ACC来评价模型

# 4. 参考 #

1.  详解ROC/AUC计算过程

*  https://blog.csdn.net/ybdesire/article/details/51999995

1.  F1 Score vs ROC AUC

*  https://stackoverflow.com/questions/44172162/f1-score-vs-roc-auc

1.  F1 Score vs ROC AUC vs Accuracy vs PR AUC: Which Evaluation Metric Should You Choose?

*  https://neptune.ai/blog/f1-score-accuracy-roc-auc-pr-auc

1.  深入理解实际场景下 AUC vs F1 的区别

*  https://blog.csdn.net/Jerry\_Lu\_ruc/article/details/107912462

1.  精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么

*  https://www.zhihu.com/question/30643044

发表评论取消回复

表情：

评论列表（有 0 条评论，207人围观）

还没有评论，来说两句吧...

相关阅读

相关 F5与Nginx的区别

么是Nginx： Nginx：高性能的 HTTP和反向代理服务器，同时支持作为IMAP/POP3/SMTP代理服务器。目前被很多网站应用为其HTTP软负载均衡器。高效的...

Bertha 。/ 2024年04月17日 05:31/ 0 赞/ 23 阅读

相关 ROC与AUC的定义与使用详解

分类模型评估： <table style="width:575px;"> <thead> <tr> <th><span>指标</span><

谁借莪１个温暖的怀抱￠/ 2023年08月17日 16:52/ 0 赞/ 70 阅读

相关 ROC曲线与AUC值

[ROC曲线与AUC值][ROC_AUC] 本文根据以下文章整理而成，链接：（1）[http://blog.csdn.net/ice110956/article/de

缺乏、安全感/ 2022年11月20日 05:57/ 0 赞/ 169 阅读

相关 F1,AUC的区别与选择

1. 引入评价一个分类器模型的效果，可以用交叉验证，也可以根据场景将数据切分为训练集、测试集，评价指标有Accuracy,F1-Value,AUC等。那我们该如何选

曾经终败给现在/ 2022年08月28日 09:49/ 0 赞/ 208 阅读

相关信息检索(IR)的评价指标介绍-准确率、召回率、F1、mAP、ROC、AUC

[原文链接][Link 1] 在信息检索、分类体系中，有一系列的指标，搞清楚这些指标对于评价检索和分类性能非常重要，因此最近根据网友的博客做了一个汇总。准确率、召回

梦里梦外;/ 2022年08月27日 04:52/ 0 赞/ 328 阅读

相关模型的评估与选择：查准率（precision），查全率(recall)，F1，ROC，AUC

首先定义几个变量： True Positive: TP 预测为真，实际为真； True Negative: TN 预测为假，实际为假； False Positive

我不是女神ヾ/ 2022年05月24日 23:55/ 0 赞/ 354 阅读

相关 Precision, Recall, F-score, ROC, AUC

一、正样本和负样本正样本就是使系统得出正确结论的例子,负样本相反。比如你要从一堆猫狗图片中检测出狗的图片，那么狗就是正样本，猫就是负样本；反过来你若是想检测出猫的

青旅半醒/ 2022年05月16日 23:15/ 0 赞/ 162 阅读

相关 AUC、Precision、Recall、F-measure、Accuracy

机器学习常见评价指标：AUC、Precision、Recall、F-measure、Accuracy 主要内容 AUC的计算

浅浅的花香味﹌/ 2022年05月11日 04:34/ 0 赞/ 119 阅读

相关 Nginx与F5的区别

对于数据流量过大的网络中，往往单一设备无法承担，需要多台设备进行数据分流，而负载均衡器就是用来将数据分流到多台设备的一个转发器。目前有许多不同的负载均衡技术用以满足不同的应

墨蓝/ 2022年05月09日 13:50/ 0 赞/ 169 阅读

相关 Precision、Recall、F-measure、ROC曲线、AUC理解

首先，在试图弄懂AUC和ROC曲线之前，一定，一定要彻底理解混淆矩阵的定义！！！混淆矩阵中有着Positive、Negative、True、False的概念，其意义如下：

红太狼/ 2021年09月27日 22:36/ 0 赞/ 441 阅读