基于检测任务的小样本增量学习 Few-shot Object Detection via Feature Reweighting. ICCV 2019论文详解

快来打我* 2023-01-21 13:21 7阅读 0赞

新加坡国立大学发表在ICCV 2019上。解决小样本目标检测问题。目前目标检测的增量都与小样本学习相结合，可能因为小样本的目标检测虽然性能较差，但是提升较大，因此容易产生一些贡献点和达到SOTA。

解决方案也是按照类似于，分类任务的方法，先将模型分为特征提取阶段和功能阶段，然后在功能阶段进行改进，从而使得特征提取阶段可以共用或者复用。

论文地址：[\[1812.01866\] Few-shot Object Detection via Feature Reweighting (arxiv.org)][1812.01866_ Few-shot Object Detection via Feature Reweighting _arxiv.org]

**目录**

1.概览

2.模型结构及训练方式

3.实验

--------------------

# 1.概览 #

增量学习时容易有一些新增类别的样本量过少，本文用了两个方面解决这个问题。一个是meta feature learner，另一个是reweighting module。

特征提取模块运用原始任务易得的数据的特征提升增量任务的性能。

reweighting module根据样本平衡不同meta feature之间的重要程度。

few-shot的增量学习问题：

小量样本是Novel classes，大量样本是Base classes，本文希望通过Few-shot Detector提升inc数据集上的性能。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70][]

# 2.模型结构及训练方式 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1][]

模型包含三个模块：

*  特征提取模块feature learner: *D*![20210516144110780.png][]
 *  reweighting module: *M*![20210516144110783.png][]
 *  prediction layer: *P*![20210516144110720.png][]

本文采用的模型框架是YOLOv2，图片*I*![20210516144110691.png][]经过特征提取网络*D*![20210516144110782.png][]获得特征图*F=D(I)*，reweighting module *M*运用元学习的方法，通过一张support image，*Ii*和该图片的边界框构成的掩码图*Mask*获得该类的向量（生成卷积核）*w**i**=M(**I**i**,**Mask**i)*![20210516144110782.png][]，此时该卷积核就可以与特征图*F*![20210516144110689.png][]，进行1\*1的卷积操作，得到加权后的特征图*Fi*![20210516144110692.png][]，计算过程如下![20210516144110785.png][]

注意，前一个手写体M是reweighting module,后面一个印刷体M表示图片的mask，也是ground truth，用于计算loss时使用的，两个不是同一个M。

prediction layer: *P*根据该特征图生成最终的预测：

![20210516144110781.png][]

目前为止，本篇文献采用的方法与ONCE(CVPR 2020)的方法一模一样，但是这篇文献在2019年已经出现了，先于ONCE(CVPR 2020)中的方法。ONCE中将元学习生成卷积核的网络称为class code generator，本篇中称为reweighting module。

最终的loss设计如下：

![20210516144110785.png][]

即图片经过*D*![20210516144110784.png][]提取特征，与*M*![20210516144110780.png][]生成的卷积核卷积，最后与真实标注*M**jq*![20210516144110780.png][]的检测loss。

# 3.实验 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2][]

本文与其他方法相比，均取得了不错的效果。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3][]

本文与直接的fine-tune对比，新增类的性能提升也非常大。

[1812.01866_ Few-shot Object Detection via Feature Reweighting _arxiv.org]: https://arxiv.org/abs/1812.01866
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70]: /images/20221020/3ee5d105560f4062a4479d75b0d62d8f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1]: /images/20221020/31141a9684a547c19af36bfcb7b40a89.png
[20210516144110780.png]: /images/20221020/88262c1a01e94149b6865d0dbb9d7337.png
[20210516144110783.png]: /images/20221020/936966b14ec742c4a14726205ae0f32c.png
[20210516144110720.png]: /images/20221020/d504264a4c9f45afb3b2df6537864186.png
[20210516144110691.png]: https://img-blog.csdnimg.cn/20210516144110691.png
[20210516144110782.png]: https://img-blog.csdnimg.cn/20210516144110782.png
[20210516144110689.png]: https://img-blog.csdnimg.cn/20210516144110689.png
[20210516144110692.png]: https://img-blog.csdnimg.cn/20210516144110692.png
[20210516144110785.png]: /images/20221020/8bffbe9f71fe4ac28853ede1e404d69d.png
[20210516144110781.png]: /images/20221020/8fd561aa99514d07a9595cca5392f6ff.png
[20210516144110784.png]: https://img-blog.csdnimg.cn/20210516144110784.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2]: /images/20221020/d52af663cf454edcb240cf6f7c02652d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3]: /images/20221020/45d4db8b23cd4a668e7dced800c4609c.png