RPN（Region Proposal Network）提取候选框

拼搏现实的明天。 2022-08-31 10:00 237阅读 0赞

##  前言 ##

RPN全称是Region Proposal Network，也可理解为区域生成网络，或区域候选网络；它是用来**提取候选框**的。

**目录**

一、RPN的由来

二、RPN思路流程

三、feature maps与锚框 anchor boxes

四、判断anchor boxes是否包含物体

五、修正边界框

六、Proposal（最有可能包含物体的区域）

--------------------

## 一、RPN的由来 ##

在RCNN和Fast RCNN等物体检测架构中，提取候选框的方法通常是传统的Selective Search，比较耗时。

在Faster RCNN中，RPN专门用来提取候选框，这也是RPN第一次被使用；RPN耗时少。

Faster RCNN = RPN + Fast RCNN

## 二、RPN思路流程 ##

RPN网络的任务是找到proposals。输入：feature map。输出：proposal。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70][]

**RPN**总体流程：

1.  生成anchors（anchor boxes）。
2.  判断每个 anchor box 为 foreground(包含物体) 或者 background(背景) ，二分类；softmax分类器提取positvie anchors 。
3.  边界框回归(bounding box regression) 对 anchor box 进行微调，使得 positive anchor 和真实框(Ground Truth Box)更加接近。
4.  Proposal Layer生成proposals。

## 三、feature maps与锚框 anchor boxes ##

feature maps 的每一个点都配9个锚框，作为初始的检测框。重要的事说三遍：

锚框作为初始的检测框！、 锚框作为初始的检测框！、 锚框作为初始的检测框！

虽然这样得到的检测框很不准确，但后面可通过 bounding box regression 来修正检测框的位置。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 1][]

下面介绍那9个anchor boxes 锚框，先看看它的形状：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 2][]

这里一共有9个框框，绿色3个，红色3个，蓝色3个。有3种形状，长宽比分别是1:1, 1:2, 2:1

## **四、判断**anchor boxes是否包含物体 ##

在feature map上，设置了密密麻麻的候选anchor boxes  锚框。为什么会有这么多？因为 feature maps 的每一个点都配9个锚框，如果一共有1900个点，那一共有1900\*9=17100个锚框了。

设 feature maps 的尺寸为 W\*H，那么总共有 W\*H\*9个锚框。（W：feature maps的宽；H：feature maps 的高。）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 3][]

然后用cnn去判断哪些anchor box是里面有目标的positive anchor，哪些是没目标的negative anchor。所以，RPN做的只是个二分类。

关于cnn的模型结构，可以参考下图：

![6882120b5c4f2e42e309019685c89c40.png][]

## **五、修正边界框** ##

已知anchor box 包含物体称为positive anchors，那怎么调整，才能使得 anchor box 与 ground truth 更接近？

图中红框为positive anchors，绿框为真实框（Ground Truth Box，简称GT）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 4][]

positive anchors 和GT的梯度可以有dx, dy, dw, dh四个变换表示，bounding box regression通过线性回归学习到这个四个梯度，使positive anchors 不断逼近GT，从而获得更精确的proposal。

bounding box regression 思路，简单一点的，可以先做平移，再做缩放，最终包含物体anchor box和真实框很接近。

## 六、Proposal（最有可能包含物体的区域） ##

通过上面的判断anchor boxes是否包含物体，对有物体的anchor boxes通过回归进行修正它的尺子，最终包含物体anchor box和真实框很接近。RPN会输出一些框框，和这些框框包含物体的概率。

总结一下，Proposal 的输入有三个：

*  softmax 分类矩阵
 *  Bounding Box Regression 坐标矩阵
 *  im\_info 保存了缩放的信息

输出为:

*  **rpn\_rois**: RPN 产生的 ROIs （Region of Interests，感兴趣的区域）
 *  **rpn\_roi\_probs: **表示 ROI 包含物体的概率

RPN 只挑选出了可能包含物体的区域（rpn\_rois）以及其包含物体的概率(rpn\_roi\_probs)。在后续处理中，设定一个阈值 threshold，如果某个ROI包含物体的概率的概率大于阈值，再判断其类别；否则直接忽略。

参考：[https://zhuanlan.zhihu.com/p/106192020][https_zhuanlan.zhihu.com_p_106192020]、[https://zhuanlan.zhihu.com/p/31426458][https_zhuanlan.zhihu.com_p_31426458]

[https://www.cnblogs.com/Terrypython/p/10584384.html][https_www.cnblogs.com_Terrypython_p_10584384.html]

![20210722183045953.png][]

本文只提供参考学习，谢谢。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70]: /images/20220829/0e9487bf56ab4e8ba5df256421e425ce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 1]: /images/20220829/b8a9f56384f84a73aad3b54e8dba2909.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 2]: /images/20220829/03b91cc110b44036a5d4ac9f0269aed8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 3]: /images/20220829/c4f312d54ce34f8cb3319a152b5fa593.png
[6882120b5c4f2e42e309019685c89c40.png]: /images/20220829/c0df9a630220434db4874bd6c5f3805a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_1_color_FFFFFF_t_70 4]: /images/20220829/75bf81e5dd4545c7a8865e662020ff15.png
[https_zhuanlan.zhihu.com_p_106192020]: https://zhuanlan.zhihu.com/p/106192020
[https_zhuanlan.zhihu.com_p_31426458]: https://zhuanlan.zhihu.com/p/31426458
[https_www.cnblogs.com_Terrypython_p_10584384.html]: https://www.cnblogs.com/Terrypython/p/10584384.html
[20210722183045953.png]: /images/20220829/f41bf04e3034453fb904eb89c50cf7dc.png