[work] 论文笔记--FAST RCNN

旧城等待， 2022-05-13 07:18 336阅读 0赞

很久之前试着写一篇深度学习的基础知识，无奈下笔之后发现这个话题确实太大，今天发一篇最近看的论文Fast RCNN。这篇文章是微软研究院的Ross Girshick大神的一篇作品，主要是对RCNN的一些改进，但是效果十分明显，paper和项目的地址都能从Ross Girshick的主页找到：http://people.eecs.berkeley.edu/~rbg/

刚刚接触深度学习，难免纰漏很多，还请大神指教。

自己的百度云里也有一些相关内容http://pan.baidu.com/s/1o79NZ2E

文字内容大多是自己讲解时的PPT的内容。

--------------------

# 背景介绍 #

Fast rcnn是针对RCNN+SPP-NET的改进，改进的原因是：

1.Training is a multi-stage pipeline.  
2.Training is expensive in space and time  
3.Object detection is slow

### 1.RCNN ###

![902692-20160610095944840-1830082736.png][]

**RCNN的结构示意图**

首先看一下RCNN的框架图，大概的工作过程是：

1.  takes an input image,
2.  extracts around 2000 bottom-up region proposals,
3.  computes features for each proposal using a large convolutional neural network (CNN)
4.   *classifies each region using class-specific linear SVMs.*

详细的说一下就是：首先输入一张图片，通过selective search获得约2K个proposal（也就是candidate object locations），之后对图像进行伸缩变换，把图像变为固定尺寸的照片，之后把固定尺寸之后的图片传入CNN网络中进行提取特征等操作，之后使用SVM分类器进行分类。

由此可以看出RCNN有这样的缺点：

1.  > 训练的时候，多pipeline分离，首先提取proposal，之后使用CNN提取特征，最后使用SVM分类然后进行boundingbox regression。
2.  > 训练时间和空间开销大。RCNN中ROI-centric的运算开销大，所以FRCN用了image-centric的训练方式来通过卷积的share特性来降低运算开销；RCNN提取特征给SVM训练时候需要中间要大量的磁盘空间存放特征，FRCN去掉了SVM这一步，所有的特征都暂存在显存中，就不需要额外的磁盘空间了。

由此看一看出RCNN的问题所在，首先在提取完proposal之后，整个网络对提取到的RCNN中的所有的proposal都进行了整套的提取特征这些操作，这些操作是非常耗时，耗费空间的。事实上我们并不需要对每个proposal都进行CNN操作，只需要对原始的整张图片进行CNN操作即可，因为我们所提取到的proposal属于整张图片，因此对整张图片提取出feature map之后，再找出对应proposal在feature map中对应的区域，进行对比分类即可。第二个问题所在就是在框架中2-3过程中的对提取到的区域进行变形，我们知道CNN提取特征的过程对图像的大小并无要求，只是在提取完特征，进行全连接的时候才需要固定尺寸的特征，然后使用SVM等分类器进行分类操作，当然这两个问题在SPP -NET中得到了很好的解决。

### 2.SPP NET ###

引入原因：在RCNN中，使用完ss提取proposal之后，对每个proposal都进行了CNN提取特征+SVM分类。  
解决方法：因为region proposal都是图像的一部分，我们只需要对图像提一次卷积层特征，然后将region proposal在原图的位置映射到卷积层特征图上，这样对于一张图像我们只需要提一次卷积层特征，然后将每个region proposal的卷积层特征输入到全连接层做后续操作。

**更直白的讲就是SPP-NET代替卷积网络中最后一个pooling层，而且这pooling层是多scale的。**

接下来看一下SPPNET的框架图

![902692-20160610112006543-296445096.png][]

**SPPNET框架图**

图中叠在一起的四个黑色方框是输入图像经过卷积层得到的特征图（feature maps of conv5），图中叫window的方框就是我们proposal在feature map中的对应位置，之后我们使用空间金字塔pooling层对这块区域进行池化，得到一个固定尺寸的向量，之后再加入到全连接层中。

（这一篇论文正在看，先写一部分大概内容，以后进行系统点补充）

# 关于FAST RCNN #

FRCNN针对RCNN在训练时是multi-stage pipeline和训练的过程中很耗费时间空间的问题进行改进。

1.  最后一个卷积层后加了一个ROI pooling layer。ROI pooling layer首先可以将image中的ROI定位到feature map，然后是用一个单层的SPP layer将这个feature map patch池化为固定大小的feature之后再传入全连接层。
2.  损失函数使用了多任务损失函数(multi-task loss)，将边框回归直接加入到CNN网络中训练。

接下来看一下FRCNN的框架图

**![902692-20160610113654105-1169232624.png][]**

**FRCNN的框架图**

图中省略了通过ss获得proposal的过程，第一张图中红框里的内容即为通过ss提取到的proposal，中间的一块是经过深度卷积之后得到的conv feature map，图中灰色的部分就是我们红框中的proposal对应于conv feature map中的位置，之后对这个特征经过ROI pooling layer处理，之后进行全连接。在这里得到的ROI feature vector最终被分享，一个进行全连接之后用来做softmax回归，用来进行分类，另一个经过全连接之后用来做bbox回归。

### 关于multi-task loss ###

![902692-20160610114458699-1448557847.png][]

参数含义：

p = (p0; : : : ; pK), over K + 1 categories.P是通过k+1个全连接层输出使用softmax计算得到的。

v=![902692-20160610120951621-718261954.png][]

![902692-20160610120853668-262101512.png][]

[902692-20160610095944840-1830082736.png]: /images/20220513/fd2d0fe0b10549ecbfea730c146fb31d.png
[902692-20160610112006543-296445096.png]: /images/20220513/854b418362c44034806c729dd9a116aa.png
[902692-20160610113654105-1169232624.png]: /images/20220513/d804117b0beb4118b391c35e226e97d9.png
[902692-20160610114458699-1448557847.png]: /images/20220513/7e63fe717d084b15a7dd00278f9fd328.png
[902692-20160610120951621-718261954.png]: /images/20220513/488defd52d8543cc9a0256e27d5f4129.png
[902692-20160610120853668-262101512.png]: /images/20220513/3ec573b9a07144b994c551cfad5478bf.png