RPN和ROI pooling的理解

淩亂°似流年 2022-05-14 05:36 169阅读 0赞

关于ROI pooling 比较简单，详情[参考][Link 1]  
ROI pooling V.S. SSP Pooling  
ROI是只有一层的SSP Pooling：ROI Pooling将proposal在feature map上的对应区域分为W \* H 份，每一份取Max/Avg 将其放到固定位置  
SSP Pooling是将proposal分为(4 \* 4 / 2 \* 2 / 1 \* 1份，然后进行拼接，得到fixed length=21的feature vector)

关于anchor我觉得比较“清晰”的说法：  
一般是在最末层的 feature map 上再用3\*3的窗口去卷积特征。当3\*3的卷积核滑动到特征图的某一个位置时，以当前滑动窗口中心为中心映射到原图的一个区域(注意 feature map 上的一个点是可以映射到原图的一个区域的，这个很好理解，感受野起的作用啊～…)，以原图上这个区域的中心对应一个尺度和长宽比，就是一个anchor了。fast rcnn 使用3种尺度和3种长宽比（1:1；1:2；2:1），则在每一个滑动位置就有 3\*3 = 9 个anchor。

在此feature map滑动一个mini-network，这个network输入是3 \* 3 \* 256，经过3 \* 3 \* 256 \* 256的卷积，得到1 \* 1 \* 256的低维向量；接下来进行分支：  
①Classification：经过1 \* 1 \* 256 \* 18的卷积核，得到1 \* 1 \* 18的feature vector，分别代表9个proposals的是/不是Object的概率(这里有一个疑惑，为什么要生成一对？生成一个是Object的概率不就好了？也许是为了设计方便？)；  
②Regression：经过1 \* 1 \* 256 \* 36的卷积核，得到1 \* 1 \* 36的feature vector，分别代表9个proposals的(center\_x,center\_y,w,d)。

LOSS fuction  
groundtruth  
IOU，

参考博客  
[https://blog.csdn.net/gm\_margin/article/details/80245470][https_blog.csdn.net_gm_margin_article_details_80245470]  
[https://blog.csdn.net/jiachen0212/article/details/79693661][https_blog.csdn.net_jiachen0212_article_details_79693661]

[Link 1]: https://deepsense.ai/region-of-interest-pooling-explained/
[https_blog.csdn.net_gm_margin_article_details_80245470]: https://blog.csdn.net/gm_margin/article/details/80245470
[https_blog.csdn.net_jiachen0212_article_details_79693661]: https://blog.csdn.net/jiachen0212/article/details/79693661