学术不端擦边球 Incremental Few-Shot Object Detection,CVPR 2020 小样本增量目标检测 论文详解

亦凉 2023-01-21 13:22 269阅读 0赞

三星AI研究所发表在CVPR2020上的文章。解决小样本增量目标检测问题。

不过读完发现此文完全抄袭 ICCV 2019的这篇:基于检测任务的小样本增量学习 Few-shot Object Detection via Feature Reweighting. ICCV 2019论文详解

ICCV2019比此文早了一年半左右即挂了Arxiv,此文仅仅将上篇文章的YOLOv2换为了CentreNet,换了数据集,其他几乎没有变化,抄的如此简单赤裸。

目录

1.贡献点

2.结构框架

2.1 特征提取

2.2 类别生成器

3.实验


1.贡献点

定义了iFSD(incremental Few-Shot Detection),小样本增量目标检测问题。(这个小样本增量学习被提出过)

本文提出了ONCE(OpeN-ended Centre nEt)框架,用于解决iFSD问题。模型由两部分优化构成:CentreNet目标检测器,和基于类别的编码生成模型,这个生成模型不是GAN中的生成器,而是一个生成卷积核的生成器,用于生成卷积核与CentreNet中的feature-map进行卷积进行特征提取。这个编码生成器也是抄了Few-shot Object Detection via Feature Reweighting. ICCV 2019 的方法,换了个名字。

2.结构框架

本文选用CentreNet作为本文的检测模型,因为它具有以下优点:

高效的单阶段目标检测模型,能够在效率和准确率之间达到较好的平衡。优于SSD、RetinaNet、YOLO

运用基于类别的模型范式,可以通过plug-in manner解决增量中的新增类。(近似可以理解为,随着增量类别的增多,最后的目标检测层的结构可以随之增加)

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70

模型分为两个阶段,一个是特征提取阶段,用于提取特征,另一个是目标检测阶段,用小型的CNN预测目标检测结果。(注意,目标检测中的单阶段与这里的两个阶段的定义并不相同。目标检测任务中的双阶段相当于两个模型,一个模型用于给出备选框,另一个用于给备选框进行选择。目标检测中的单阶段是模型直接根据feature-map生成备选框,所以虽然CentreNet具有两个阶段,但是在目标检测阶段的定义中,依然是目标检测单阶段的目标检测模型。)

本文的ONCE模型,具有两个部分构成:

  • 特征提取模块(Feature Extractor),用于提取图片特征,这个模块被原始任务和增量任务共享。
  • 目标检测模块(Object Locator),根据提取出的特征进行分类,这个模块根据任务的特征进行预测。

2.1 特征提取

本文的ONCE框架主要依据CentreNet,分为两个阶段。首先训练特征提取模块f(),目标检测模块h()20210516145650342.png,给定输入图片I∈**Rh\w*3,经过特征提取模块之后获得feature-map,m=f(I)20210516145650386.pngI∈Rhr*wr*c20210516145650389.png,其尺寸是hr*wr*c,分别是宽、高和通道数。对应的目标检测模块h()20210516145650381.png需要训练出一个卷积核ck=*R1\1*c*用于获得类别heatmap:

20210516150143876.png

其中,下标k20210516145650381.png表示类别数量,一共有Kb20210516145650390.png类。Yk20210516145650385.png的尺寸是YkRhr**wr20210516145650389.png,即相当于对feature-map上的每个像素点预测出一个针对类别k20210516145650387.png的概率。同理,目标检测阶段的模型h()还需要获得预测框中心点输出O∈Rhr*wr*220210516145650344.png和尺寸输出S∈Rhr*wr*220210516145650343.png。这些输出均是基于特征提取模块的结果m=f(I)*20210516145650308.png获得。这点与YOLO非常相近。

2.2 类别生成器

这个类别生成器不是GAN中的生成器,类别生成器g()用于生成类别向量c20210516145650387.png(即上文公式(1)中用于与feature-map进行卷积,获得该类别heatmap的向量)。关于类别生成器本文运用meta-learning的方法,将对应的任务分为support set Q20210516145650384.png和query-set S20210516145650385.png,对于第k20210516145650387.png类的类别生成器的训练方法:

本文根据S20210516145650345.png中的k20210516145650382.pngSk20210516145650347.png获得生成类别向量ck20210516145650387.png

20210516145650384.png

然后在Q20210516145650343.png上的第k20210516145650383.png类进行验证,最小化Qk20210516145650385.png在模型输出的误差。

这里我们可以发现,这里引入了元学习的概念,即YOLO用于类别预测的卷积核c20210516145650390.png是直接通过模型训练获得的,这里的用于预测类别预测的卷积核c20210516145650384.png是通过类别生成器g()20210516145650347.png通过元学习的方法生成的。

20210516145650384.png

新类到来时的训练流程:

新类到来后,划分为support set Q20210516145650386.png和query-set S20210516145650345.png,通过元学习的方法,根据公式(3)(4),训练好类别生成器g(),然后利用g()20210516145650349.png生成的类别向量对模型进行预测,从而适应了增量训练的过程。

3.实验

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1

可以看出,尽管ONCE取得了SOTA的实验效果,但是在COCO数据集上的性能依然非常低。究其原因,可能有三点,

  • COCO数据集本身较难,
  • 增量学习在检测任务中具有一定的挑战性。
  • Few-shot的增量学习具有一定的难度。

但是本文运用元学习的方法,将单阶段的目标检测模型与双阶段的增量任务相结合。方法几乎完全抄袭了2019年的论文,仅仅将其中的YOLOv2换为CentreNet,

发表评论

表情:
评论列表 (有 0 条评论,269人围观)

还没有评论,来说两句吧...

相关阅读