RPN

今天药忘吃喽~ 2022-12-18 00:49 163阅读 0赞

这篇拉通的讲了faster r-cnn：[https://www.zhihu.com/collection/595537451][https_www.zhihu.com_collection_595537451]  
这篇细讲了RPN的细节：[https://blog.csdn.net/ying86615791/article/details/72788414][https_blog.csdn.net_ying86615791_article_details_72788414]

强调一点，就是下图中的那个intermediate的作用。  
原文中提到的是一个小网络以滑动窗口的形式划过最后一个卷积层输出的feature maps，并且这个小的network的窗口空间大小是n*n的。  
结合图形我的理解是RPN的网络是以一个3*3*256的卷积层开始的，之后跟了两个小的卷积层的分支，一个是cls用于判定anchor是positive还是negative，另一个reg用于模型回归，模型回归的目标是真实boxes与anchor boxes之间坐标的偏置。将偏置和anchor boxes的坐标带入预先设定的公式中，就得到了最终预测的boxes坐标。  
所以RPN的输入可以理解为feature map（m*n大小）上的一个3*3的小区域，每次RPN以滑动窗口的形式从上面的m*n的特征图上依次选取3*3的区域作为输入，用来对m*n的特征图上的以每个像素点为中心的3*3区域进一步提取特征，在特征图边界的点提取时做padding，进一步提取后得到的特征再由后面两个分支分别做1*1卷积分别得到2k的scores和4k的coordinates。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70_pic_center]

[https_www.zhihu.com_collection_595537451]: https://www.zhihu.com/collection/595537451
[https_blog.csdn.net_ying86615791_article_details_72788414]: https://blog.csdn.net/ying86615791/article/details/72788414
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70_pic_center]: /images/20221122/917e415492574f50ba2cb61714c21f8e.png