Few Shot Incremental Learning with Continually Evolved Classifiers

CVPR2021，由新加坡南洋理工大学

本文利用Graph即图模型，将拓扑结构与增量模型向结合，从而取得不错的效果。

类似论文，均是基于双阶段的增量模型，一个是特征提取模块，另一个是分类器模块。

对于Rehearsal的方法而言，特征提取模块可能一起更新。

对于本文的方法而言，特征提取模块一旦初始训练好，就固定下来，只更新分类器模块。本文的分类器模块与GAT(Graph Attention Network)相结合。

基于拓扑结构的增量学习：

CVPR2020 ，FSCIL Few-shot Class Incremental Learning。将NG网络运用到增量学习之中。

FSCIL论文详解 Few-Shot Class-Incremental Learning， CVPR2020_祥瑞的技术博客-CSDN博客

ECCV2020，TPCIL，本篇，Topology Preserving Class-Incremental learning，同样的框架，即CNN+拓扑结构，部分内容换了一个写法。

基于拓扑的增量学习Topology Preserving Class-Incremental learning论文详解ECCV2020_祥瑞的技术博客-CSDN博客

CVPR2021与本篇非常类似，Few-Shot Incremental Learning with Continually Evolved Classifiers，南洋理工大学提出，也是运用Graph的知识，将GAT(Graph Attention Network)用于增量学习。

Few Shot Incremental Learning with Continually Evolved Classifiers论文详解基于持续进化分类器的小样本类别增量学习CVPR2021_祥瑞的技术博客-CSDN博客

本文地址：

[2104.03047] Few-Shot Incremental Learning with Continually Evolved Classifiers (arxiv.org)

另一篇论文地址：

[2103.16788] DER: Dynamically Expandable Representation for Class Incremental Learning (arxiv.org)

1.贡献点

方法

2.1 模型框架

2.1 CEC（continually evolved classifier）

2.2 算法流程

2.3 Pseudo Incremental Learning

3.实验

3.1 可视化

3.2 方法对比

4.总结

1.贡献点

本文依然解决Few-shot class incremental learning(FSCIL)问题，从两个方面来进行解决：

特征提取模块与分类器解耦，每次增量任务只更新分类器。特征提取模块是pretrain好的backbone, 分类器是non-parameter的class mean classifier(个人猜测类似于NCM)

为了使得分类器适用于所有类别，本文提出Continually Evolved Classifier (CEC)，将graph模型应用于分类器。

多个数据集上SOTA

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70

2. 方法

2.1 模型框架

对FSCIL问题，base数据大量，inc数据较少，因此用base数据训练backbone即可。用calssfier来试应增量任务的变化。

即使对旧任务，学到了很好的分类边界，但是因为新任务的到来，旧模型的决策边界可能不好用了。因此本文引入新的Continually Evolved Classifier (CEC)来进行适应。将Graph Attention Network（GAT，ICML2018）图注意力模型。引入到此模型之中。从而实现了

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1

先用base数据D**0train训练获得backbone R的权重，

然后利用base数据作为伪增量，训练Graph模型获得权重{ W**0},

随着增量任务的到来，Graph模型的节点和权重随之增加，权重增加为{ W0,W1}，再增加到{ W0,W1,…,W**i}

2.1 CEC（continually evolved classifier）

前NI个任务，模型分类器学到的权重为：

对于CNN模型而言：上标从1到NI分别表示增量任务，下标从0到NI分别表示类别。w**ic表示第i个增量任务中区分类别c的权重。这里采用CNN的模型权重W是为了后面与Graph模型进行区分。模型总权重W权重由w即每个增量任务中每个类别的权重构成，意味着每个增量任务从1到NI，每个类别都会有一个权重。