Learning RoI Transformer for Detecting Oriented Objects in Aerial Images

爱被打了一巴掌 2022-09-02 08:40 219阅读 0赞

#### Learning RoI Transformer for Detecting Oriented Objects in Aerial Images ####

### 文章目录 ###

*   *   *   *  Learning RoI Transformer for Detecting Oriented Objects in Aerial Images
             *   *  参考
                 *  Introduction
                 *  RoI Transformer
                 *   *  RRoI Learner
                     *  RRoI Warping

##### 参考 #####

*  [RoI Transformer 精读][RoI Transformer]
 *  [遥感检测——RoI Transformer（CVPR2019）][RoI Transformer_CVPR2019]

##### Introduction #####

*  对于任意方向目标的检测，HRoI已经不能满足要求，因此出现了RRoI，此前的RRoI是通过多增加不同角度的anchor来实现不同方向的目标检测，但是这种方式会因为anchor的增加而产生大量的计算量。
 *  RoI Transformer 是一个三阶段检测模型，主要由RRoI Leaner(学习从HRoI到RRoI的转换)和RRoI Wraping(从RRoI中提取旋转不变的特征，用于后续的分类和回归子任务。)两部分组成，核心思想是把RPN输出的水平锚框HRoI转换为旋转锚框RRoI。此策略无需增加锚点的数量且可以获得精确的RRoI。
 *  为了进一步提高效率，作者为所有的RoI-wise operations采用了light head structure。roi-wise operation一直是二阶检测器的效率瓶颈，因为它们之间的计算不共享。Light-head R-CNN提出使用分离卷积来获得thin feature以解决这个问题，它还使用PS RoI Align来进一步削减特征图的通道数，本文方法的baseline就是Light-head R-CNN。

##### RoI Transformer #####

*  ![image-20210801152851075][]
    
     *  RoI Transformer检测模型结构如图所示，主要由RRoI Leaner和RRoI Wraping两部分组成。对于RPN生成的每个水平锚框HRoI,都会作为输入传递给RRoI Leaner, RRoI Leaner结构是由PS RoI Align（PS RoI Align减少特征图的维数，将单个全连接层合并到10个通道，显著提高了计算速度）、尺寸为5的全连接层（在全连接层使Rotated Ground Truths(RGTs)相对于HRoI的偏移量回归）以及解码器（解码器将HRoI和偏移量作为输入并输出解码后的RRoI）构成。将特征图和解码后的RRoI传入RRoI Wrapping进行深度特征提取。最后，利用RRoI Transformer输出的特征进行分类和回归。

###### RRoI Learner ######

*  RRoI Leaner主要负责从水平特征图HRoIs中学习RRoIs。假设我们得到了n个由（x,y,w,h）表示的HRoI,x,y表示HRoI中心点的位置，w表示宽度，h表示高度。理想情况下每个HRoI都是RRoI的外接矩形。利用全连接层从每个HRoI推测RRoI的几何形状。对于一般情况下RRoI的偏移量回归目标如下
    
     *  ![image-20210801155547902][]
     *  上图中的标柱参考系是指文中原图的x1oy1，即使用预测框的坐标系，我特地推了一下上述公式中的offset： t x ∗ t\_x^\* tx∗和 t y ∗ t\_y^\* ty∗，如下所示
     *  ![8d34e80301cd67f23ad0d4a1cca3c530.png][]
     *  我们对中心点画直角三角形，得到 x ∗ − x r x^\*-x\_r x∗−xr和 y ∗ − y r y^\*-y\_r y∗−yr两组参数，那么由基础几何得到， ( x ∗ − x r ) cos ⁡ θ r (x^\*-x\_r)\\cos\{\\theta\_r\} (x∗−xr)cosθr和 ( y ∗ − y r ) sin ⁡ θ r (y^\*-y\_r)\\sin\{\\theta\_r\} (y∗−yr)sinθr以及 ( y ∗ − y r ) cos ⁡ θ r (y^\*-y\_r)\\cos\{\\theta\_r\} (y∗−yr)cosθr和 ( x ∗ − x r ) sin ⁡ θ r (x^\*-x\_r)\\sin\{\\theta\_r\} (x∗−xr)sinθr的几何表示如上面右下角的图表示。可以看到上面的公式不过是用预测框的斜着的坐标系算以gt框为基准的坐标系的$\\delta x  和 和 和 \\delta y 的 大 小 ， 而 公 式 中 的 的大小，而公式中的 的大小，而公式中的t\*\_w$和$t*h 以 及 以及 以及t^*\_\\theta$的值就是两者的比值再取对数（角度不取）
 *  再回到模型的结构中来，作者使用FC-5实现这个效果，G代表全链接层，F代表HRoI的feature map， θ \\theta θ 代表G的权重参数。
    
     *   t = G ( F ; Θ ) ( 2 ) t = G(F; Θ) \\qquad (2) t=G(F;Θ)(2)
     *  也就是说模型训练时，将输入的HRoI和OBB（GroundTruth）进行匹配。匹配后通过等式（1）得到 t ∗ t^\* t∗ ，然后从中解码出RRoI的参数。使用Smooth L1 loss作为回归损失进行梯度下降。

###### RRoI Warping ######

*  RRoI Warping通过RRoI的参数提取旋转不变的深度特征（其实就是用Rotated Position Sensitive RoI pooling实现旋转版的池化）。
 *  通过RPS RoI pooling将输入的大小为HxWxC的RRoI的Feature map分成KxKxC的feature map（由双线性插值实现）
    
     *   y c ( i , j ) = ∑ ( x , y ) ∈ b i n ( i , j ) D i , j , c ( T θ ( x , y ) ) / n i j ( 3 ) y\_c(i,j) = \\sum\_\{(x,y) \\in bin(i,j)\} D\_\{i,j,c\}(T\_\\theta (x,y))/n\_\{ij\} \\qquad (3) yc(i,j)=(x,y)∈bin(i,j)∑Di,j,c(Tθ(x,y))/nij(3)
        
         *  D是输入的feature map（RRoI），
         *   y y y是输出的feature map，
         *  bin 是池化的一小块，其中  ( i , j ) ∈ ( 0 , K ) (i, j) \\in (0,K) (i,j)∈(0,K) ,
         *  c是输出channel， c ∈ ( 0 , C ) c \\in (0,C) c∈(0,C)，
         *   n i j n\_\{ij\} nij是每一块bin的样本参数量
     *   T θ T\_\\theta Tθ的转换的式子为：
        
         *   ( x ′ y ′ ) = ( cos ⁡ θ − sin ⁡ θ sin ⁡ θ cos ⁡ θ ) ( x − ω r 2 y − h r 2 ) + ( x y ) \\left( \\begin\{array\}\{cc\} x^\{'\} \\\\ y^\{'\} \\end\{array\} \\right) = \\left( \\begin\{array\}\{cc\} \\cos\\theta & -\\sin\\theta \\\\ \\sin\\theta & \\cos\\theta \\end\{array\} \\right)\\left( \\begin\{array\}\{cc\} \\frac\{x-\\omega\_r\}\{2\} \\\\ \\frac\{y-h\_r\}\{2\} \\end\{array\} \\right)+\\left( \\begin\{array\}\{cc\} x \\\\ y \\end\{array\} \\right) (x′y′)=(cosθsinθ−sinθcosθ)(2x−ωr2y−hr)\+(xy)

[RoI Transformer]: https://blog.csdn.net/qq_30612045/article/details/107741011
[RoI Transformer_CVPR2019]: https://zhuanlan.zhihu.com/p/267484680
[image-20210801152851075]: /images/20220829/20631c9c7e834c09b3951812fb621933.png
[image-20210801155547902]: /images/20220829/f241b7d0a61d41d696dfca5b37903648.png
[8d34e80301cd67f23ad0d4a1cca3c530.png]: /images/20220829/c714452eb3ad465f88aacf7b3f8be6b7.png

发表评论取消回复

表情：

评论列表（有 0 条评论，219人围观）

还没有评论，来说两句吧...

相关阅读

相关 Focal Loss for Dense Object Detection

摘要迄今为止最高精度的物体检测器是由两级组成的检测器，典型代表是R-CNN，其中R-CNN的分类器被应用于有很少元素的预选框集。相反，一级检测器被更加广泛地使用，密集的

快来打我*/ 2022年12月17日 07:04/ 0 赞/ 146 阅读

相关 [论文阅读：transformer系列]Deformable DETR: Deformable Transformers for End-to-End Object Detection

> Facebook AI 提出了 DETR，利用 Transformer 去做目标检测，该方法去除了许多目标检测中的人工设计组件，同时展现了非常好的性能。但是，DETR 存在

男娘i/ 2022年11月17日 03:38/ 0 赞/ 188 阅读

相关《PIoU Loss：Towards Accurate Oriented Object Detection in Complex Environments》论文笔记

参考代码：[piou][] 1. 概述 > 导读：旋转矩形框的引入可以更好贴合目标的轮廓，一般是在水平矩形框的基础上添加一个旋转变量，之后通过诸如smooth L1损失

r囧r小猫/ 2022年11月16日 10:42/ 0 赞/ 103 阅读

相关《ReDet：A Rotation-equivariant Detector for Aerial Object Detection》论文笔记

参考代码：[ReDet][] 1. 概述 > 导读：这篇文章针对旋转目标检测问题提出了一种新的检测算法ReDet（Rotation-equivariant Detect

╰+攻爆jí腚メ/ 2022年09月15日 14:48/ 0 赞/ 224 阅读

相关 Learning RoI Transformer for Detecting Oriented Objects in Aerial Images

Learning RoI Transformer for Detecting Oriented Objects in Aerial Images 文章目录

爱被打了一巴掌/ 2022年09月02日 08:40/ 0 赞/ 220 阅读

相关 Histograms of Oriented Gradients for Human Detection 翻译

本博客原作者：masikkk http://blog.csdn.net/masibuaa/article/details/14056807

谁借莪１个温暖的怀抱￠/ 2022年06月06日 13:16/ 0 赞/ 122 阅读

相关 Focal Loss for Dense Object Detection

论文通过对比一阶段和二阶段检测算法结果的差异发现，样本不均衡是导致one-stage detectors效果不如two-stage detectors好的主要原因。因为后者的分

超、凢脫俗/ 2022年02月02日 20:43/ 0 赞/ 184 阅读

相关 Relation Networks for Object Detection

转自：[https://blog.csdn.net/u014380165/article/details/80779432][https_blog.csdn.net_u0143

逃离我推掉我的手/ 2021年12月20日 12:25/ 0 赞/ 162 阅读

相关 Learning Data Augmentation Strategies for Object Detection（翻译）

这个方法是谷歌大脑Quoc Le团队，又训练出的一个目标检测模型，通过特别的数据扩增策略，再用自动扩增来的新数据集训练目标检测模型，使该算法在针对小数据集的目标检测

梦里梦外;/ 2021年12月16日 12:25/ 0 赞/ 211 阅读

相关最新目标检测论文（二）：Learning Data Augmentation Strategies for Object Detection

基于Data Augmentation+NAS-FPN 数据对于深度学习来说至关重要，而数据增强策略对于提升训练样本数据量、改善模型稳定性和鲁棒性，提高对于真实世界的适应性和

￡神魔★判官ぃ/ 2021年12月11日 09:59/ 0 赞/ 248 阅读