MOT：Metrics MOTA

冷不防 2023-02-11 10:07 9阅读 0赞

## 简介： ##

[MOTChallenge][]是多目标跟踪领域最为常用的benchmark，其中2D MOT15，3D MOT15，MOT16，MOT17，MOT20都是多目标跟踪领域常用的数据集。  
下面我们按照MOTChallenge中的评价标准进行介绍，当然MOTChallenge也主要参考[《Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics》][Evaluating Multiple Object Tracking Performance_ The CLEAR MOT Metrics]

## 评价指标： ##

### 总结 ###

CLEAR MOT Metrics认为一个好的多目标跟踪器应该有如下三点特性：  
1.所有出现的目标都要能够及时找到（检测的性能）  
2.找到目标位置要尽可能可真实目标位置一致（检测的性能）  
3.保持追踪一致性，避免跟踪目标的跳变 （匹配的性能）  
所以可以看出，多目标跟踪和目标检测是密不可分的，检测的性能不可避免的会对跟踪的性能造成影响。  
MOTChallenge的评价指标一共有十一个，分别是

<table> 
 <thead> 
  <tr> 
   <th>Measure</th> 
   <th>Better</th> 
   <th>Perfect</th> 
   <th>Description</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>MOTA</td> 
   <td>higher</td> 
   <td>100%</td> 
   <td>跟踪的准确度，和出现FN，FP，IDs的数量负相关，可能出现负值。</td> 
  </tr> 
  <tr> 
   <td>MOTP</td> 
   <td>higher</td> 
   <td>100%</td> 
   <td>跟踪的精度，GT和检测的bbox的匹配交叠</td> 
  </tr> 
  <tr> 
   <td>IDF1</td> 
   <td>higher</td> 
   <td>100%</td> 
   <td>引入track ID的F1</td> 
  </tr> 
  <tr> 
   <td>FAF</td> 
   <td>lower</td> 
   <td>0</td> 
   <td>每帧的平均误报警数</td> 
  </tr> 
  <tr> 
   <td>MT</td> 
   <td>higher</td> 
   <td>100%</td> 
   <td>命中的轨迹占总轨迹的占比，定义命中的轨迹为长度小于ground truth 80%的轨迹</td> 
  </tr> 
  <tr> 
   <td>ML</td> 
   <td>lower</td> 
   <td>0</td> 
   <td>丢失的轨迹占总轨迹的占比，定义丢失轨迹为长度小于ground truth 20%的轨迹</td> 
  </tr> 
  <tr> 
   <td>FP</td> 
   <td>lower</td> 
   <td>0</td> 
   <td>FP的总数量，false positives也就是误检</td> 
  </tr> 
  <tr> 
   <td>FN</td> 
   <td>lower</td> 
   <td>0</td> 
   <td>FN的总数量，false negatives也就是漏检</td> 
  </tr> 
  <tr> 
   <td>IDs</td> 
   <td>lower</td> 
   <td>0</td> 
   <td>ID改变的总数量</td> 
  </tr> 
  <tr> 
   <td>Frag</td> 
   <td>lower</td> 
   <td>0</td> 
   <td>轨迹被打断的总数量</td> 
  </tr> 
  <tr> 
   <td>Hz</td> 
   <td>higher</td> 
   <td>Inf</td> 
   <td>处理速度，不包括检测器的耗时，而且这个指标由作者提供，MOTChallenge是计算不出来的，因为递交的是offline文件。</td> 
  </tr> 
 </tbody> 
</table>

### MOTA ###

MOTA = 1 − ∣ FN ∣ + ∣ FP ∣ + ∣ IDSW ∣ ∣ gtDet ∣ \\begin\{aligned\} \\text \{MOTA\} = 1 - \\frac\{|\\text \{FN\}| + |\\text \{FP\}| + |\\text \{IDSW\}|\}\{|\\text \{gtDet\}|\} \\end\{aligned\} MOTA=1−∣gtDet∣∣FN∣\+∣FP∣\+∣IDSW∣  
其中，FN为False Negative，FP为False Positive，IDSW为ID Switch，GT为Ground Truth 物体的数量。MOTA考虑了tracking中所有帧中对象匹配错误，主要是FN，FP，ID Switch。MOTA给出了一个非常直观的衡量跟踪器在检测物体和保持轨迹时的性能，与物体位置的估计精度无关。MOTA取值应小于100，当跟踪器产生的错误超过了场景中的物体，MOTA会为负数。需要注意的是，此处的MOTA以及MOTP是计算所有帧的相关指标再进行平均（既加权平均值），而不是计算每帧的rate然后进行rate的平均。  
注意MOTA中的FN，FP是检测的结果，而不是跟踪的结果，也就是说MOTA中只有IDs是和跟踪有关系的，剩下的都是检测。MOTA相比于IDF1要更偏向与检测。

### MOTP ###

MOTP = 1 ∣ TP ∣ ∑ TP S \\begin\{aligned\} \\text \{MOTP\} = \\frac\{1\}\{|\\text \{TP\}|\}\\sum \_\{\\text \{TP\}\}\{ \\mathcal \{S\}\} \\end\{aligned\} MOTP=∣TP∣1TP∑S

其中，d为检测目标i和给它分配的ground truth之间在所有帧中的平均度量距离，在这里是使用bounding box的overlap rate来进行度量（在这里MOTP是越大越好，但对于使用欧氏距离进行度量的就是MOTP越小越好，这主要取决于度量距离d的定义方式）；而c为在当前帧匹配成功的数目。MOTP主要量化检测器的定位精度，几乎不包含与跟踪器实际性能相关的信息。

### IDF1 ###

I D F 1 = 2 × I D P × I D R I D P + I D R IDF1 = \\frac\{2\\times IDP \\times IDR\} \{IDP + IDR\} IDF1=IDP\+IDR2×IDP×IDR  
 I D R = I D T P I D T P + I D F N IDR = \\frac\{IDTP\} \{IDTP + IDFN\} IDR=IDTP\+IDFNIDTP  
 I D P = I D T P I D T P + I D F P IDP = \\frac\{IDTP\} \{IDTP + IDFP\} IDP=IDTP\+IDFPIDTP  
而IDTP，IDFN和IDFP就引入了ID考量的TP，FN和FP，这种考量是一种min-cost原则的匹配计算。  
比如存在一段GT track，是10个1，有2个predict的track，是track1和track2：

truth ：1-1-1-1-1-1-1-1-1-1  
track1：1-1-2-2-3-3-4-4-5-5  
track2：1-1-2-2-1-1-2-2-1-1

那么预测的结果是：

<table> 
 <thead> 
  <tr> 
   <th>track</th> 
   <th>IDTP</th> 
   <th>IDFN</th> 
   <th>IDFP</th> 
   <th>IDP</th> 
   <th>IDR</th> 
   <th>IDF1</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>track1</td> 
   <td>2</td> 
   <td>8</td> 
   <td>8</td> 
   <td>20%</td> 
   <td>20%</td> 
   <td>20%</td> 
  </tr> 
  <tr> 
   <td>track2</td> 
   <td>6</td> 
   <td>4</td> 
   <td>4</td> 
   <td>60%</td> 
   <td>60%</td> 
   <td>60%</td> 
  </tr> 
 </tbody> 
</table>

那么为什么track2的IDTP是6而不是4呢？  
因为用id1区匹配GT的话，min-cost更小。

### FN&FP&IDs&Frag ###

假设GT只有一条，用虚线表示，也就是说在GT中由6帧图像，并只有一个track id。下面由a，b，c，d四张图，涵盖了FN，FP，IDs和Frag的情况。  
在图a中，GT被预测为红蓝两条，红色轨迹F1时并没有匹配上GT，所以GT实际上是一个FN，也就是实际为目标，但是被遗漏了。同理红色轨迹的F1结果，也就是一个FP，因为实际上是一个不存在的东西被判定成了目标。  
同理，蓝色轨迹F3，F4也是FP，又因为GT由4到5时，id从红色变成蓝色，所以存在IDs。  
在图b中，还是同样的GT，这次红蓝两条轨迹没有交叠，在F3的地方GT断开了，所以存在一次Frag。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70]

Reference：

*  [py-motmetrics][]
 *  [TrackEval][]

[MOTChallenge]: https://motchallenge.net/
[Evaluating Multiple Object Tracking Performance_ The CLEAR MOT Metrics]: https://dl.acm.org/doi/pdf/10.1155/2008/246309?download=true
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200522212123462.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc=,size_16,color_FFFFFF,t_70
[py-motmetrics]: https://github.com/cheind/py-motmetrics
[TrackEval]: https://github.com/JonathonLuiten/TrackEval

MOT：Metrics MOTA

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 MOT：Metrics MOTA