[Intensive Reading]目标检测(object detection)系列（八）YOLOv2：更好，更快，更强

朴灿烈づ我的快乐病毒、 2022-05-31 08:10 265阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70_pic_center]

**目标检测系列：**  
[目标检测(object detection)系列（一） R-CNN：CNN目标检测的开山之作][object detection_ R-CNN_CNN]  
[目标检测(object detection)系列（二） SPP-Net：让卷积计算可以共享][object detection_ SPP-Net]  
[目标检测(object detection)系列（三） Fast R-CNN：end-to-end的愉快训练][object detection_ Fast R-CNN_end-to-end]  
[目标检测(object detection)系列（四） Faster R-CNN：有RPN的Fast R-CNN][object detection_ Faster R-CNN_RPN_Fast R-CNN]  
[目标检测(object detection)系列（五） YOLO：目标检测的另一种打开方式][object detection_ YOLO]  
[目标检测(object detection)系列（六） SSD：兼顾效率和准确性][object detection_ SSD]  
[目标检测(object detection)系列（七） R-FCN：位置敏感的Faster R-CNN][object detection_ R-FCN_Faster R-CNN]  
[目标检测(object detection)系列（八） YOLOv2：更好，更快，更强][object detection_ YOLOv2]  
[目标检测(object detection)系列（九） YOLOv3：取百家所长成一家之言][object detection_ YOLOv3]  
[目标检测(object detection)系列（十） FPN：用特征金字塔引入多尺度][object detection_ FPN]  
[目标检测(object detection)系列（十一） RetinaNet：one-stage检测器巅峰之作][object detection_ RetinaNet_one-stage]  
[目标检测(object detection)系列（十二） CornerNet：anchor free的开端][object detection_ CornerNet_anchor free]  
[目标检测(object detection)系列（十三） CenterNet：no Anchor，no NMS][object detection_ CenterNet_no Anchor_no NMS]  
[目标检测(object detection)系列（十四）FCOS：用图像分割处理目标检测][object detection_FCOS]

**目标检测扩展系列：**  
[目标检测(object detection)扩展系列（一） Selective Search：选择性搜索算法][object detection_ Selective Search]  
[目标检测(object detection)扩展系列（二） OHEM：在线难例挖掘][object detection_ OHEM]  
[目标检测(object detection)扩展系列（三） Faster R-CNN，YOLO，SSD，YOLOv2，YOLOv3在损失函数上的区别][object detection_ Faster R-CNN_YOLO_SSD_YOLOv2_YOLOv3]

# 简介：更好，更快，更强 #

YOLO系列推出了它的第二代算法：YOLOv2，一个“更好，更快，更强”的检测器。╮(￣▽ ￣)╭  
YOLOv2的论文是[《YOLO9000: Better, Faster, Stronger》][YOLO9000_ Better_ Faster_ Stronger]，这里面的YOLO9000是YOLO2的基础上做了，使用检测与分类的联合训练，并根据ImageNet中的WordNet构建WordTree，达到9000类目标检测的目的，但是这部分内容在下面不做介绍了。YOLOv2同样延续了one-stage检测的思路，并在速度和准确性方面都超过了SSD。

# YOLOv2原理 #

## 设计理念 ##

一提到YOLOv2对YOLO的改进，一般都会有下面这个图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3h1LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70]  
但是它更多的是一种trick，比如用更大分辨率的图训练基础分类模型等等，这个东西我们后面再说，个人认为YOLOv2相比于YOLO主要在四个方面有比较大的改进：

*  首先就是主干网络结构，YOLO2v提出之前，已经涌现了一大批的优秀的图像分类网络，比如ResNet、Inception等，所以YOLOv2没必要再继续使用VGG16，当然它也没用现有的结构，而是自行设计了一个DarkNet-19；
 *  其次，是anchor box的引入，在Faster R-CNN和SSD之后，YOLOv2也终于加入了anchor box；
 *  随后，YOLOv2的每一个box都会输出全套的置信度信息，而不是像YOLO那样只有location信息；
 *  最后，YOLOv2也引入了多层特征的概念，虽然它没像SSD一样拉取多个分支，但是使用了一种“reorg”操作，起到相似的效果。

## 网络结构 ##

![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTgwMjEyMTkxNjIzMjQy]  
　　上图是YOLOv2的主干网络结构，可以看到YOLOv2有32层。结构还是比较常规的，主要就是在用 3 × 3 3\\times3 3×3的卷积， 2 × 2 2\\times2 2×2的池化和 1 × 1 1\\times1 1×1的卷积。除了上面三个常规操作外，还有**reorg**和**route**，其中**route**在25层和28层，reorg在27层。

*  route：  
    route层是串接的意思，比如28层的route把27层和24层串接到一起输出到下一层，第27层的输出是 13 × 13 × 256 13\\times13\\times256 13×13×256，24层输出是 13 × 13 × 1024 13\\times13\\times1024 13×13×1024，所以在第三个维度上做拼接就是28层的输出，同样也是29层的输入： 13 × 13 × 1280 13\\times13\\times1280 13×13×1280。  
    同理，第24层route只有16，那么就不做合并了，直接把16层的输出拿过来作为24层输出： 26 × 26 × 512 26\\times26\\times512 26×26×512，所以25层的输入是 26 × 26 × 512 26\\times26\\times512 26×26×512。
 *  reorg：  
    reorg是一种reshape，但是reshape的方式很新奇，它将 26 × 26 × 64 26\\times26\\times64 26×26×64 的输出形变为 13 × 13 × 256 13\\times13\\times256 13×13×256 ，因为 26 × 26 × 1 26\\times26\\times1 26×26×1可以变为 13 × 13 × 4 13\\times13\\times4 13×13×4，reorg其实是为了28层的route服务的，因为只有特征图的宽高时一致的，才能做串接。

YOLO2的主干网络的连接方式可以看下面这个图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3h1LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 1]  
经过一系列的操作，YOLOv2最后输出特征图是 13 × 13 × 125 13\\times13\\times125 13×13×125，主干网络的部分就结束。  
那么这里就有两个问题，为什么最后的输出是 13 × 13 × 125 13\\times13\\times125 13×13×125？为什么主干网络要做成这么个奇奇怪怪的样子，而不是顺序的一次性下来？

*  输出维度是 13 × 13 × 125 13\\times13\\times125 13×13×125  
    这个数的组合和YOLO其实是很相似的，不同的地方也是YOLOv2比较关键的地方。首先是我们应该注意的一个地方是YOLOv2没有全连接层了，最后一层也不是reshape出来的，而是直接卷积得到的，这个就已经SSD很像了。其次 13 × 13 13\\times13 13×13是最后一层特征图的宽高，相比YOLO的 7 × 7 7\\times7 7×7，这个图变大了，也就有了更丰富的信息。最后，也是最关键的地方，就是这个125，YOLO这个值可是只有30啊，同样是做20个类别的目标检测，YOLOv2就把它变大了这么多，都是用来干嘛了呢？125指的是 25 × 5 25\\times5 25×5，其中的5指的是5个bbox框，在YOLO中这个数是2，但是在YOLOv2里它变成了5。  
    还剩最后一个数字：25，这是和要检测类别数量有关系，它包含了类别的置信度，边界框的位置以及是否有物体这些信息。YOLOv2在预测20类（VOC数据集），所以类别的置信度有20个，对应的某个bbox框中是某一个class的概率；边框的位置用 \{ d x , d y , d w , d h \} \\left \\\{ d\_\{x\}, d\_\{y\},d\_\{w\},d\_\{h\} \\right \\\} \{ dx,dy,dw,dh\}这4个数会被用来计算和大小；此外还有一个值表示边框预测里有真正的对象的概率confidence。所以最终25的排布是 20 + 4 + 1 20+4+1 20\+4\+1。  
    那么YOLOv2的计算就应该是： 125 = 5 × ( 20 + 4 + 1 ) 125=5\\times\\left(20+4+1\\right) 125=5×(20\+4\+1)  
    而YOLO的计算是： 30 = 20 + 2 × ( 4 + 1 ) 30=20+2\\times\\left(4+1\\right) 30=20\+2×(4\+1)  
    ![在这里插入图片描述][20190816113332406.jpg]  
    这就是YOLOv2的关键了，类别的信息不再和框没有关系，而是像SSD那样，YOLOv2的每个框都有全套的输出。  
    另一方面，YOLO最终总共只有49个类别结果和98个预测框，而YOLOv2有845个，多了很多。
 *  主干网络有跨层合并  
    YOLOv2的最后一层特征图尺寸是 13 × 13 × 125 13\\times13\\times125 13×13×125， 13 × 13 13\\times13 13×13的尺寸足够检测到常规目标了，但是对于小目标还是比较吃力，而小目标用更大的更靠前的特征图，就有可能检测到了，所以这种奇怪的连接方法本质上就是在拉取更靠前的特征图，也就是第16层的输出，虽然这个 26 × 26 × 64 26\\times26\\times64 26×26×64 的特征图又被reshape小了，但是没关系啊，提出来的特征还是那些东西。 这个操作其实和SSD中的多层特征分支输出的操作作用相似  
    通过上面两个操作，很像吐槽一下CNN结构设计╮(￣▽ ￣)╭，我们在做网络结构分析或网络结构设计的时候，经常会有这样的感觉，输出的数想让它代表什么就代表什么，网络结构想怎么拉分支就怎么拉分支，维度不匹配就用 1 × 1 1\\times1 1×1卷积和reshape，有时候甚至看起来很没有道理，但是最后这样的操作却能有效果，最重要的原因就在于卷积操作是只是在做特征提取，它只是很强的抽取能力，但是它并不知道会抽取出什么东西，所以如果我们设计合适的损失函数，就可以任意指定输出，哪怕这种指定看起来并没有道理。CNN本质上就是连接input与output之间的一个极其复杂的，表达能力很强的，并且很有潜力的函数，但是这个函数最终的能力能不能充分发挥出来，要取决于很多东西，损失函数，训练技巧，数据集等等。

## YOLOv2的anchor box ##

到这里，第一部分提到的四个点，就解释完了三个，还剩下一个archor box。  
在SSD和Faster R-CNN中，要预测的边界框中心坐标 ( t x , t y ) (t\_\{x\}, t\_\{y\}) (tx,ty)实际上是一个offset，它表示了预设框与ground truth的偏差，ground truth的中心点是 ( x , y ) (x, y) (x,y)，预设框表示为 \{ x a , y a , w a , h a \} \\left \\\{ x\_\{a\}, y\_\{a\},w\_\{a\},h\_\{a\} \\right \\\} \{ xa,ya,wa,ha\}，那么 ( t x , t y ) (t\_\{x\}, t\_\{y\}) (tx,ty)可以被计算为：  
 t x = x − x a w a t\_\{x\}= \\frac \{x-x\_\{a\}\}\{w\_\{a\}\} tx=wax−xa t y = y − y a h a t\_\{y\}= \\frac \{y-y\_\{a\}\}\{h\_\{a\}\} ty=hay−ya  
这个公式变换一下，当然加减符号不太重要，所以移项之后不变号了：  
 x = t x w a − x a x= t\_\{x\}w\_\{a\}-x\_\{a\} x=txwa−xa y = t y h a − y a y=t\_\{y\}h\_\{a\}-y\_\{a\} y=tyha−ya  
这样来看的话，offset ( t x , t y ) (t\_\{x\}, t\_\{y\}) (tx,ty)有各自的系数 w a w\_\{a\} wa和 h a h\_\{a\} ha，又因为offset是无约束的，offset变化了一个单位，预测值值就要偏离实际值 w a w\_\{a\} wa和 h a h\_\{a\} ha这么多，这会造成优化的困难。为了避免这个问题，YOLOv2在边界框预测上还是沿用YOLO的策略，而没有使用SSD的。  
就是预测边界框中心点相对于对应cell左上角位置的相对偏移值，为了将边界框中心点约束在当前cell中，使用sigmoid函数处理偏移值，这样预测的偏移值在(0,1)范围内（每个cell的尺度看做1）。总结来看，根据边界框预测的4个offset \{ t x , t y , t w , t h \} \\left \\\{ t\_\{x\}, t\_\{y\},t\_\{w\},t\_\{h\} \\right \\\} \{ tx,ty,tw,th\}，可以按照下列公式计算出ground truth在特征图上的相对值 \{ b x , b y , b w , b h \} \\left \\\{ b\_\{x\}, b\_\{y\},b\_\{w\},b\_\{h\} \\right \\\} \{ bx,by,bw,bh\}，注意这个是ground truth在特征图上的相对值，不是 ( x , y , w , h ) (x, y,w,h) (x,y,w,h)。  
 b x = σ ( t x ) + c x b\_\{x\}= \\sigma(t\_\{x\})+c\_\{x\} bx=σ(tx)\+cx b y = σ ( t y ) + c y b\_\{y\}= \\sigma(t\_\{y\})+c\_\{y\} by=σ(ty)\+cy b w = p w e t w b\_\{w\}= p\_\{w\}e^\{t\_\{w\}\} bw=pwetw b h = p h e t h b\_\{h\}= p\_\{h\}e^\{t\_\{h\}\} bh=pheth  
具体的如下图：  
![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTgwMjEyMjMxODI2MjUw]  
 c x c\_\{x\} cx和 c y c\_\{y\} cy是特征图中格子的左上角坐标，这样一来，要预测的 b x b\_\{x\} bx和 b y b\_\{y\} by就被限定到了一个格子里，而 t x t\_\{x\} tx和 t y t\_\{y\} ty被限定到了 ( 0 , 1 ) (0,1) (0,1)，所以回归方法去处理这个问题时更加容易。然后还剩下 p w p\_\{w\} pw和 p h p\_\{h\} ph，这两个东西就是YOLOv2的archor。这样ground truth就又被archor重新编码了，只是编码的方式和SSD不同。  
YOLOv2在决定anchor的取值的时候，是根据要预测的数据集来的，它事先统计了VOC中的boundingbox的长宽分布情况，选择了5对比较合适anchor，这种统计的方式在论文里称为Dimension Clusters（维度聚类），其实就是个K-means，以聚类个数k为anchor boxs个数，以k个聚类中心box的宽高维度为anchor box的维度。但是使用标准的K-means有一个问题，那就是大的bbox会比小的bbox产生更大的error，哪怕他们离实际的聚类中心更近，所以为了解决这个问题，维度聚类重新设计了距离评价：  
 d ( b o x , c e n t r o i d ) = 1 − I O U ( b o x , c e n t r o i d ) d\\left(box,centroid\\right)=1-IOU\\left(box,centroid\\right) d(box,centroid)=1−IOU(box,centroid)  
　　经过K-means预测之后，它们分别是：  
　　 ( 1.32210 ， 1.73145 ) (1.32210，1.73145) (1.32210，1.73145)  
　　 ( 3.19275 ， 4.00944 ) (3.19275，4.00944) (3.19275，4.00944)  
　　 ( 5.00587 ， 8.09892 ) (5.00587，8.09892) (5.00587，8.09892)  
　　 ( 9.47112 ， 4.84053 ) (9.47112，4.84053) (9.47112，4.84053)  
　　 ( 11.2364 ， 10.0071 ) (11.2364，10.0071) (11.2364，10.0071)  
　　最后这个在特征图上计算出来的bbox是要向原图上映射的，这就是一个对应比例的坐标变换。

## YOLOv2阈值与分类 ##

YOLOv2最后会对20个class都打分，显然分值最高的那个，就是最后的这个建议框的类别，并拿出该类别的probability。  
　　YOLOv2对于VOC的结构，最后将产生13*13*5的目标，但是一张正常的图片中是不可能有这么多物体的，所以最后需要一个阈值限定这些输出，这个阈值论文中给出的是0.24，那么拿什么值和0.24比较呢？上面我们已经拿出了一个probability，还有一个输出是confidence，比较的就是二者的乘积。  
　　在darknet的官网给出了一个图，说明了如果阈值取的非常小的话，就会是这样：  
![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTgwMjEyMjM1NDIxNzA0]

## YOLOv2损失函数 ##

YOLOv2同样是一个多任务损失，在R-CNN系列中，一般是把分类的回归的加在一起作为最后的loss function的，而在YOLO2中loss function有四项，并且这四项的weight不同，他们分别是：

*  object\_scale:5
 *  noobject\_scale:1
 *  class\_scale:1
 *  corrd\_scale:1  
    　　什么意思呢？object是对于存在物体的区域判定为无物体，noobject是没有存在物体的区域判定为存在物体，class是分错类别，corrd是bbox的偏差，可以看到，YOLOv2对于检测不到物体时给的惩罚是很大的。  
    　　具体的过程是，YOLOv2最先关注的是noobject的类，最后一层会输出 13 × 13 × 5 13\\times13\\times5 13×13×5个bbox，把这些bbox逐个与每一个ground truth比较，如果还是有一些bbox与ground truth的IOU小于0.6的话，那么就认为属于noobject，传回去的东西就是 n o o b j e c t s c a l e × c o n f i d e n c e noobject\_scale\\times confidence noobjectscale×confidence。  
    　　下一步，关注和ground truth重合度最大的bbox，计算剩下的三个loss，这三个loss是没有判定条件的，不管什么样都会输出：  
    　　1.object类会回传object\_scale\*(1-confidence)  
    　　2.corrd类会回传四个数的L1距离  
    　　3.class类就直接回传[交叉熵][Link 1]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3h1LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 2]

# YOLOv2性能评价 #

## YOLOv2在VOC2007表现： ##

![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTgwMjE0MDA1MjU0MTU1]

## YOLOv2在VOC2012和COCO： ##

![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTgwMjE0MDA1MzUxNjg1]

# YOLOv2改进细节 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3h1LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70]  
最后说一下这个图，其实很多东西上面提到过了：

*  BN层  
    YOLOv2的主干网络加了BN层，因为BN在当时已经被证明了好用，不加白不加；
 *  高分辨率的分类器  
    这只是一个trick，用 448 × 448 448\\times448 448×448的分辨率图像训练分类backbone；
 *  卷积  
    前面提到过，YOLOv2不再是全连接+reshape的方式输出特征图了；
 *  archor box
 *  新的backbone
 *  维度聚类
 *  定位预测  
    上面四个，前面都提到过；
 *  passthrough  
    前面提到过，就是那个“route”操作；
 *  多尺度  
    用多种尺度的输入训练，这个训练只能训主干，因为不同的输入，最后的检测层会变化；
 *  高分辨率的检测器  
    就是输入的图更大了。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70_pic_center]: /images/20220531/f7f34d173b5d4e739dc2f60e4e391077.png
[object detection_ R-CNN_CNN]: http://blog.csdn.net/chaipp0607/article/details/78112861
[object detection_ SPP-Net]: http://blog.csdn.net/chaipp0607/article/details/78446708
[object detection_ Fast R-CNN_end-to-end]: http://blog.csdn.net/chaipp0607/article/details/78458883
[object detection_ Faster R-CNN_RPN_Fast R-CNN]: http://blog.csdn.net/chaipp0607/article/details/78492328
[object detection_ YOLO]: https://zhangxu.blog.csdn.net/article/details/78535113
[object detection_ SSD]: https://zhangxu.blog.csdn.net/article/details/98962500
[object detection_ R-FCN_Faster R-CNN]: http://blog.csdn.net/chaipp0607/article/details/78525483
[object detection_ YOLOv2]: https://zhangxu.blog.csdn.net/article/details/79318396
[object detection_ YOLOv3]: https://zhangxu.blog.csdn.net/article/details/99700184
[object detection_ FPN]: https://zhangxu.blog.csdn.net/article/details/99988305
[object detection_ RetinaNet_one-stage]: https://zhangxu.blog.csdn.net/article/details/100035827
[object detection_ CornerNet_anchor free]: https://blog.csdn.net/chaipp0607/article/details/100057803
[object detection_ CenterNet_no Anchor_no NMS]: https://blog.csdn.net/chaipp0607/article/details/106991047
[object detection_FCOS]: https://zhangxu.blog.csdn.net/article/details/106991074
[object detection_ Selective Search]: https://zhangxu.blog.csdn.net/article/details/99442318
[object detection_ OHEM]: https://zhangxu.blog.csdn.net/article/details/100564629
[object detection_ Faster R-CNN_YOLO_SSD_YOLOv2_YOLOv3]: https://zhangxu.blog.csdn.net/article/details/102094625
[YOLO9000_ Better_ Faster_ Stronger]: https://arxiv.org/abs/1612.08242
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3h1LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70]: /images/20220531/5122c055b5f8444d999aae2bb83090b5.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTgwMjEyMTkxNjIzMjQy]: /images/20220531/b2f65413a3e348719edbe87de31957e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3h1LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 1]: /images/20220531/ba95d9bae89b4f47925e391f7632ece0.png
[20190816113332406.jpg]: /images/20220531/d33fbf6cdb564863981bc2b05ded7b78.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTgwMjEyMjMxODI2MjUw]: /images/20220531/de2d8f64dc744a98a5b9a5955bcae714.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTgwMjEyMjM1NDIxNzA0]: /images/20220531/bde0bd4ff6e3412595f7b00655755cef.png
[Link 1]: http://blog.csdn.net/chaipp0607/article/details/73392175
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3h1LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 2]: /images/20220531/6295d356e2c64d4d9b9e380519b890e3.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTgwMjE0MDA1MjU0MTU1]: /images/20220531/afb1c5efd92649bb94d31ab7023211cb.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTgwMjE0MDA1MzUxNjg1]: /images/20220531/0385da3b20a540dfbad78be89ac1b19d.png