map平均准确率_IR的评价指标-MAP,NDCG和MRR

r囧r小猫 2023-01-10 05:21 116阅读 0赞

MAP

单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高)，MAP就可能越高。如果系统没有返回相关文档，则准确率默认为0。

例如：假设有两个主题，主题1有4个相关网页，主题2有5个相关网页。某系统对于主题1检索出4个相关网页，其rank分别为1, 2, 4, 7；对于主题2检索出3个相关网页，其rank分别为1,3,5。对于主题1，平均准确率为(1/1+2/2+3/4+4/7)/4=0.83。对于主题2，平均准确率为(1/1+2/3+3/5+0+0)/5=0.45。则MAP= (0.83+0.45)/2=0.64。”

NDCG(Normalized Discounted Cumulative Gain)：

计算相对复杂。对于排在结位置n处的NDCG的计算公式如下图所示：

在MAP中，四个文档和query要么相关，要么不相关，也就是相关度非0即1。NDCG中改进了下，相关度分成从0到r的r+1的等级(r可设定)。当取r=5时，等级设定如下图所示：

(应该还有r=1那一级，原文档有误，不过这里不影响理解)

例如现在有一个query=\{abc\}，返回下图左列的Ranked List(URL)，当假设用户的选择与排序结果无关(即每一级都等概率被选中)，则生成的累计增益值如下图最右列所示：

考虑到一般情况下用户会优先点选排在前面的搜索结果，所以应该引入一个折算因子(discounting factor): log(2)/log(1+rank)。这时将获得DCG值(Discounted Cumulative Gain)如下如所示：

最后，为了使不同等级上的搜索结果的得分值容易比较，需要将DCG值归一化的到NDCG值。操作如下图所示，首先计算理想返回结果List的DCG值：

然后用DCG/MaxDCG就得到NDCG值，如下图所示：

MRR(Mean Reciprocal Rank)：

是把标准答案在被评价系统给出结果中的排序取倒数作为它的准确度，再对所有的问题取平均。相对简单，举个例子：有3个query如下图所示：

(黑体为返回结果中最匹配的一项)

可计算这个系统的MRR值为：(1/3 + 1/2 + 1)/3 = 11/18=0.61。

发表评论取消回复

表情：

评论列表（有 0 条评论，116人围观）

还没有评论，来说两句吧...

相关阅读

相关评价指标：准确率

准确率已经提出了许多用于评估语义分割问题准确率的评价指标，这些指标通常是像素级准确率及IoU的变体。我们报告了语义分割方面最常用的评价指标，用来度量逐个像素标注类的方法的表

红太狼/ 2024年01月20日 08:00/ 0 赞/ 52 阅读

相关目标检测的评价指标（Iou，mAP，Fps）

一、交并比物体检测需要定位出物体的bounding box，就像下面的图片一样，我们不仅要定位出车辆的bounding box 我们还要识别出bounding b

快来打我*/ 2023年10月10日 10:02/ 0 赞/ 44 阅读

相关 map平均准确率_IR的评价指标-MAP,NDCG和MRR

MAP 单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指

r囧r小猫/ 2023年01月10日 05:21/ 0 赞/ 117 阅读

相关目标检测性能评价指标（mAP、IOU..）

[1.参考这位博主的解答][1.] 解释的很详细 [2.这位博主解释的也很详细][2.] [3. 还有这位博主的][3.] [1.]: https://blog.

待我称王封你为后i/ 2022年12月03日 09:51/ 0 赞/ 187 阅读

相关信息检索(IR)的评价指标介绍-准确率、召回率、F1、mAP、ROC、AUC

[原文链接][Link 1] 在信息检索、分类体系中，有一系列的指标，搞清楚这些指标对于评价检索和分类性能非常重要，因此最近根据网友的博客做了一个汇总。准确率、召回

梦里梦外;/ 2022年08月27日 04:52/ 0 赞/ 345 阅读

相关 IR的评价指标：NDCG

[http://blog.csdn.net/inte\_sleeper/article/details/7398404][http_blog.csdn.net_inte_sle

你的名字/ 2022年06月12日 11:57/ 0 赞/ 208 阅读

相关目标检测评价指标—mAP

对于了解目标检测的评价指标是很重要的，否则自己不懂这个代表什么意思，如何调参。网上有太多资料，可是杂乱，甚至有一乱说，我在学习mAP的时候，记录下自己所学，总结下，也分享出来，

Myth丶恋晨/ 2022年04月02日 11:17/ 0 赞/ 747 阅读

相关推荐算法常用评价指标：NDCG、MAP、MRR、HR、ILS、ROC、AUC、F1等

1 混淆矩阵 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9

Dear 丶/ 2022年02月16日 01:51/ 0 赞/ 1035 阅读

相关 IR的评价指标—MAP,NDCG,MRR

http://www.cnblogs.com/eyeszjwang/articles/2368087.html MAP(Mean Average Precision)：单个主

谁借莪１个温暖的怀抱￠/ 2021年12月15日 15:23/ 0 赞/ 239 阅读

相关准确率、召回率和综合评价指标

最近在准备比赛，由于比赛涉及到准确率，召回率和综合评价指标，虽然以前都看过，但是突然间忘了，显得很是尴尬，所以写篇博客来帮自己做一下笔记。 1.基本概念准确率

红太狼/ 2021年10月14日 23:35/ 0 赞/ 464 阅读