Few-shot Learning 小白入门笔记

青旅半醒 2022-09-06 00:05 269阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

知乎作者受限玻尔兹曼机

https://zhuanlan.zhihu.com/p/396593319

编辑｜人工智能前沿讲习

最近想搞一搞Few shot leanring，于是在B站上听了王老师的课，感觉深受启发，写一写课程笔记，也希望分享给想入门的朋友。笔记中增加了一些我个人的理解，希望各位大佬指导。

王老师的课程：

## https://www.bilibili.com/video/BV1V44y1r7cx ##

**01**

**小样本学习要解决什么问题？**

举一个例子，假如有如图的两类动物，左边一类是犰狳，右边一类是穿山甲，现在请你仔细区分一下它们。但是我并不告诉你到底什么是犰狳，什么是穿山甲。现在，我新给你一个图像，请你判断是犰狳还是穿山甲。

![0212938f3105e5f8e60ed03805c13e9c.png][]

它显然是穿山甲。这是人的能力，仅仅从一个很小的甚至为1的样本量就可以进行同类或异类的区分。我们希望机器也能够具有这样仅仅根据很小的样本量就可以区分同类和异类的能力。但是这样小的样本不可能用来训练一个深度神经网络，那该怎么办呢？

我们首先回顾一下传统的强监督分类问题。简化来说，我们有一个训练集，训练集中包含很多类别，每个类别下有很多同类样本。现在来了一个测试图片，注意这个测试图片本身是训练集没有见过的，但是！他的类别一定在训练集中有。比如下图所示：测试图片是一个哈士奇，但是在训练集中是有哈士奇这一类，所以网络已经见过很多的哈士奇了。

![cbe64f6db7a7fced1546c70eec579396.png][]

对于小样本问题，我们还是有训练集，这个训练集和之前传统的强监督的差不多。但是现在这个测试图像（FSL中叫做Query）训练集既没见过，他的类别训练集中也没有！比如下图，训练集中有哈士奇，大象，虎哥，鹦鹉和车五类，测试图片却是一个兔子。但是呢，我们有一些数量很少的卡片，叫做Support Set，它里面包含几个类别（标注），每个类别下有很少量的图片。已知Query一定来自Support Set中的一类。但是Support Set本身又无法支持网络的训练。现在我们想要让机器和人一样只根据数量很少的样本就能够判断Query是Support Set中的哪一类。这就是小样本学习要解决的问题。

![b4be278ab23107aff7813aad55224aa4.png][] ![aa4c3c0555f0fc7b32f4cd60431dda3d.png][]

##     ##

**02**

**小样本学习的几个概念**

小样本学习的数据集包含三个，一个是Training Set，一个是Support Set，另一个是Query。我刚学到这里时，对Training Set非常疑惑，既然Query的类别Training Set中都没有，那么为什么我们还需要Training Set？其实我们需要在Training Set上训练网络能够区分同类和异类的能力，这种能力的训练是需要大量样本的。后面就知道啦。

现在我们来看Support Set，Support Set中有k类样本，每类中有n个样本，我们将类别数叫做k-way，将每类中的样本数叫做n-shot。如图中这个就是4-way，2-shot。显然，当way越多n越少的时候，就越困难。注意，当每类下就一个样本时，叫做one-shot，这个是最困难的，也是目前比较火的。

![17eab63de1e539d5f21244837a0be283.png][] ![7d04530c19f587b6d26987a9c89faa4b.png][]

##     ##

**03**

**怎么解决？**

那我们怎么来解决这个问题呢？最主要的思路也很简单，那就是看Query和Support Set中的哪一类更像呗！用学术语言来说，就是Learn a similarity function。那就得先让网络知道什么是像！但是Support Set中就那么几个，网络学不会啊。这个时候之前说的Training Set就派上用场了。原来我们不是用它来训练一个分类器来分哪一个是虎哥，哪一个是大象，我们是要用它来让网络学习什么是像，什么是不像！具体来看就是学习下面的这个sim函数，当两张图像是同一类时，sim=1，是不同类的时候sim=0。学会了像以后，就让网络来看Query和Support Set中的哪一个最像，那么Query就属于Support Set中的哪一类。这个问题就解决啦。

![17cd1c69ee6f2e042499238a70751e76.png][] ![f8d583ee57f15c4a5af9166dc4dd0e21.png][] ![e2036431e1b10fb5b431ce4fc7ca5ec8.png][]

##     ##

**04**

**让网络学习什么是像，什么是不像**

让网络学会什么是像，什么是不像，这是最基本的想法也是最重要的一环。以下简单介绍几种经典的方法。

### **Learning Pairwise Similarity Scores** ###

这个思想比较简单，既然Training Set中有很多类，每类中也有很多样本，那么就来构造正负样本对来让网络学习哪些是像的，哪些是不像的。如图所示，训练集中包含五类，我们使用类中的样本构造正样本，即他们是相似的；用类间的样本构造负样本，即他们是不相似的。我们给正样本给予标签1，负样本给予标签0。可以看到，这样构造的话，我们的映射关系，就是输入是一个图像对，标签是0或者1。我们如何设计网络结构呢？

![688830efc2b71b63b166060a77b52190.png][] ![3365aee03d1c8c395d8b312be9594681.png][]

答案是使用孪生网络Siamese Network，它的输入是两个图像，并按照完全相同（共享）的权重将两幅图像映射到embedding中。然后我们将这两个图像在特征空间的embedding求一个距离，或者做差之后通过全连接层进一步映射，最后通过sigmoid函数和我们的标签结合起来。这样网络就可以端到端的来学习什么是像啦。

![17a9a8f497c1f7f96fedad4911feea01.png][]

然后呢，我们将Quary与Support Set中的每一个样本均进行以上测试，最后sigmoid输出的sim值越接近1，就说明Quary和这个样本越像，最后找到那个最像的就可以啦！

![a3dd4ac63398cc4330ea231983e833bb.png][]

### **Triplet Loss** ###

之前我们构造样本对每次都是一个正样本对一个负样本对这样来构造，这样其实并不能很明显的进行对比。于是三个样本的构造方法就出现了。首先我们在测试集中的某一类中选择一个锚点样本，比如那个虎哥。然后我们在虎哥所在的这一类中，再选一个虎弟作为正样本；然后不在虎这一类里面选了，再到其他类里面选一个作为负样本。这样我们就选好了三个样本。

![bcd70905a71f249f8dc35731cbd4c549.png][] ![4e19903072a7cd16c0ac514356a8ed33.png][] ![ef228ceddc1d9f1d31189d9de09fb77f.png][]

然后我们依然使用孪生网络来进行特征提取，只不过现在在一次训练的过程中，我们计算两个正样本之间的特征距离和两个负样本之间的特征距离，接下来就是定义损失函数了。对于正样本们，我们当然希望它们在特征空间的距离尽可能地靠近，近成0了那最好；对于负样本对，我们尽可能地希望它们在特征空间的距离尽可能远离，那么多远就算远了呢，我们需要给定一个条件。因此我们定义一个α，当两个负样本之间的距离比正样本之间的距离远到α的时候，我们就认为足够了，loss=0，这样正样本之间的距离太远了不行，负样本之间的距离太近了也不行。所以这种思想是一种对比的思想，将相似的样本在特征空间拉近，而将不相似的样本在特征空间推远。

![cf8bfc5123be5d635f94be7f0f67a8df.png][] ![87b880d392707838b0f46ab59b8a63e3.png][] ![42b31bafc7613e79040795b1899578e1.png][]

之后我们来进行预测，我们分别计算Quary和每个样本之间的距离，选距离最小的那个作为最终的决策类。

![9f7a4e628d68748fa43286c1416b43ff.png][]

### **Pretraining and Finetuning** ###

我们之前的思路是在训练集上让网络学会什么是像，然后直接测试Quary和Support Set。其实Support Set在训练集中也没有，甚至连类别都没有见过，网络可能会有点害怕。那么能不能让网络也见见Support Set呢，答案是可以的！而且能涨好多点！

首先我们从余弦相似度说起，已知两个单位向量，它们之间的余弦相似度就是它们的内积，当夹角越小的时候，两个向量更像。因此余弦相似度可以表示两个向量的相似程度，常常用在特征空间。当两个向量不是单位向量时，需要先对其进行归一化，然后再求内积。

![5ef4f55ca27776de898ccf152d7a8dc7.png][] ![d247ffbfdf749bbeb6a03f7f8b6d25be.png][]

我们再来说Softmax函数。Softmax函数可以将一组数转化为每个数对应的概率值，概率和为1。当然，这样转化会使本来大的数更大，但是却比直接max要温和。那么所谓的softmax分类器，无非就是将一个d1的输入向量左乘一个kd的权重矩阵，再加一个偏置，得到对应k类的概率值。这个权重是根据loss计算的。

![623758e2ba6d1eb2251207b416d470df.png][] ![52a39442b448803b7e61947fc5e77e90.png][] ![da6dc64d4d7018e8e2cac30f612f7b86.png][]

好啦，下面我们开始具体说。我们还是在大型的训练集上训练我们的网络。只不过不直接在Support Set上进行测试。我们将Support Set中的每一类样本使用训练好的网络进行特征提取，如果每一类中有一些样本，那么我们对他们的embedding进行平均。之后我们进行归一化，这是为了后面更好的计算余弦相似度。这样一来我们得到了Support Set中这些类的平均归一化embedding。

接下来我们也对Query提取embedding，并使用之前Support Set提取的embedding初始化权重矩阵M。我们可以看出M中的每一行其实都代表Support Set中每一类的特征。接下来我们使用Support Set中的样本根据softmax分类器进行fintuning。我们使用M来直接初始化softmax的权重矩阵W，这是因为Support Set中的样本数量太少了，如果随机初始化参数，则效果并不好。其实不难发现，我们直接求Q与M的内积再接softmax就可以得到Q属于M中的哪一类的概率，由于没有进行fintuning，它的结果还是差一些。

我们使用M作为初始化权重矩阵，之后使用交叉熵函数对Support Set中的所有样本进行fintuning。

![eb77cdd5adc456a8be0b771766de2980.png][] ![df91d515f0f071034c813049e139cf36.png][] ![aeb560c3af148b89fa356d039c6fb175.png][] ![63064483b539cd9d591a7e118e429f07.png][]

### **Trick** ###

在fintuning的过程中，我们有三个非常好用的Trick。

第一个是我们刚才说过的，在finetuning的时候使用Support Set中每类样本的特征组成的矩阵M进行初始化待训练权重W，这是因为Support Set中的样本数量太少了，如果随机初始化参数，则效果可能不佳。

![f3877daa57a4d5a428e2bc3941c4707e.png][]

第二个是使用熵进行正则化。我们知道对于softmax，如果他输出每一类的概率都差不多，那么说明分类器没有学好，基本是在瞎猜的状态，此时它的熵就会很大；但是如果有一类输出的概率特别大，其他预测概率都很小，那么说明神经网络此时很有把握，这时它的熵就会很小。我们希望fintuning中神经网络能给出更有把握的结果，因此加入熵正则化，可以明显提高性能。

![594ca9226a8e0c30e11986f8b1d00fc9.png][] ![9ea9d4bd91a521d92c2c5d3d75273204.png][]

第三个是使用余弦相似度与softmax分类器的组合。我们知道softmax分类器中是权重W与Q相乘来运算的，而我们这里将这个W替换为余弦相似度的计算，也可以提高性能。

![27fbd3dc29cd9001534578116903c16d.png][]

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]  **

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![e97bb837def857780c36ec016094fc36.png][]

[0212938f3105e5f8e60ed03805c13e9c.png]: /images/20220829/3676be209eb14becaf0bde40166c0cee.png
[cbe64f6db7a7fced1546c70eec579396.png]: /images/20220829/bb6b38308b2f4eec8b9f7a4a7ec09cc9.png
[b4be278ab23107aff7813aad55224aa4.png]: https://img-blog.csdnimg.cn/img_convert/b4be278ab23107aff7813aad55224aa4.png
[aa4c3c0555f0fc7b32f4cd60431dda3d.png]: /images/20220829/1a87f5e9965c467fb86f431f10918b20.png
[17eab63de1e539d5f21244837a0be283.png]: https://img-blog.csdnimg.cn/img_convert/17eab63de1e539d5f21244837a0be283.png
[7d04530c19f587b6d26987a9c89faa4b.png]: /images/20220829/d03d707d061144e1aa65987cb27e5db3.png
[17cd1c69ee6f2e042499238a70751e76.png]: https://img-blog.csdnimg.cn/img_convert/17cd1c69ee6f2e042499238a70751e76.png
[f8d583ee57f15c4a5af9166dc4dd0e21.png]: https://img-blog.csdnimg.cn/img_convert/f8d583ee57f15c4a5af9166dc4dd0e21.png
[e2036431e1b10fb5b431ce4fc7ca5ec8.png]: /images/20220829/58d625b493c74f299efe8afad2a10b85.png
[688830efc2b71b63b166060a77b52190.png]: https://img-blog.csdnimg.cn/img_convert/688830efc2b71b63b166060a77b52190.png
[3365aee03d1c8c395d8b312be9594681.png]: /images/20220829/116eb97510e3429cbe7b7c6b5b8f3c01.png
[17a9a8f497c1f7f96fedad4911feea01.png]: /images/20220829/9240b64724dd4c85bf0006c68d41afea.png
[a3dd4ac63398cc4330ea231983e833bb.png]: /images/20220829/c73675de097b46e196e2d03677af5113.png
[bcd70905a71f249f8dc35731cbd4c549.png]: https://img-blog.csdnimg.cn/img_convert/bcd70905a71f249f8dc35731cbd4c549.png
[4e19903072a7cd16c0ac514356a8ed33.png]: https://img-blog.csdnimg.cn/img_convert/4e19903072a7cd16c0ac514356a8ed33.png
[ef228ceddc1d9f1d31189d9de09fb77f.png]: /images/20220829/1444d8017f884d1397697f4f9a3e957d.png
[cf8bfc5123be5d635f94be7f0f67a8df.png]: https://img-blog.csdnimg.cn/img_convert/cf8bfc5123be5d635f94be7f0f67a8df.png
[87b880d392707838b0f46ab59b8a63e3.png]: https://img-blog.csdnimg.cn/img_convert/87b880d392707838b0f46ab59b8a63e3.png
[42b31bafc7613e79040795b1899578e1.png]: /images/20220829/16dfc342be3f4c57b9a258359232d314.png
[9f7a4e628d68748fa43286c1416b43ff.png]: /images/20220829/747d132c0fec4a859e40856878d7a9c5.png
[5ef4f55ca27776de898ccf152d7a8dc7.png]: https://img-blog.csdnimg.cn/img_convert/5ef4f55ca27776de898ccf152d7a8dc7.png
[d247ffbfdf749bbeb6a03f7f8b6d25be.png]: /images/20220829/3262cafd5f394c1e9c4774d6e347fba3.png
[623758e2ba6d1eb2251207b416d470df.png]: https://img-blog.csdnimg.cn/img_convert/623758e2ba6d1eb2251207b416d470df.png
[52a39442b448803b7e61947fc5e77e90.png]: https://img-blog.csdnimg.cn/img_convert/52a39442b448803b7e61947fc5e77e90.png
[da6dc64d4d7018e8e2cac30f612f7b86.png]: /images/20220829/7325462542e24d649da07447164a6497.png
[eb77cdd5adc456a8be0b771766de2980.png]: https://img-blog.csdnimg.cn/img_convert/eb77cdd5adc456a8be0b771766de2980.png
[df91d515f0f071034c813049e139cf36.png]: https://img-blog.csdnimg.cn/img_convert/df91d515f0f071034c813049e139cf36.png
[aeb560c3af148b89fa356d039c6fb175.png]: https://img-blog.csdnimg.cn/img_convert/aeb560c3af148b89fa356d039c6fb175.png
[63064483b539cd9d591a7e118e429f07.png]: /images/20220829/9d7a00c5529944c0b9ffb7b273365c29.png
[f3877daa57a4d5a428e2bc3941c4707e.png]: /images/20220829/3081be4c557b4a2cb1764dca3473727c.png
[594ca9226a8e0c30e11986f8b1d00fc9.png]: https://img-blog.csdnimg.cn/img_convert/594ca9226a8e0c30e11986f8b1d00fc9.png
[9ea9d4bd91a521d92c2c5d3d75273204.png]: /images/20220829/e04438389bd640e2826edf5cbf8b4ac2.png
[27fbd3dc29cd9001534578116903c16d.png]: /images/20220829/6cbce9c8ad62422eb1a66f43403de341.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[CVPR 2021 _ GAN_3D]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a41fac95dc8ec752351699318742fa502dfc945ce072567bb4bf0c59ce83049dc58c1a57d&idx=1&mid=2247492417&scene=21&sn=292be5e5fab52c5df5c94508b898da5a#wechat_redirect
[CVPR 2021 _ _ _GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4278c95dcb6ebd0ba346a11dc195a0ac4f7830f3a7cf69fcffc7057fa1bf3eaeb9386300&idx=1&mid=2247491779&scene=21&sn=f0a601ca66c01361709e6af8485f629b#wechat_redirect
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&idx=1&mid=2247491634&scene=21&sn=427cb6bfd6868662f2b5ae1ac37f6072#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&idx=1&mid=2247490911&scene=21&sn=671926492c3b36e3350db4963f7fcb16#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&idx=2&mid=2247490656&scene=21&sn=bbe156fef077f23263b57e506ad43314#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&idx=1&mid=2247490498&scene=21&sn=324cfbbde362a728aa5336f4b200f7a3#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[e97bb837def857780c36ec016094fc36.png]: /images/20220829/b185d4eb3ae4432aa582fb7f4d9b79e3.png