小样本学习（FSL）：Few-shot Learning 综述【模型微调（Fine-tunning）、数据增强、迁移学习（Transfer Learning）】

水深无声 2023-09-30 07:45 135阅读 0赞

分类非常常见，但如果每个类只有几个标注样本，怎么办呢？

比如：我们打造了一个智能对话开发平台以赋能第三方开发者来开发各自业务场景中的任务型对话，其中一个重要功能就是对意图进行分类。大量平台用户在创建一个新对话任务时，并没有大量标注数据，每个意图往往只有几个或十几个样本。

面对这类问题，有一个专门的机器学习分支——Few-shot Learning 来进行研究和解决。

一、小样本学习方法

1、基于模型微调的小样本学习

基于模型微调的方法是小样本学习较为传统的方法,该方法通常在大规模数据上预训练模型,在目标小样
本数据集上对神经网络模型的全连接层或者顶端几层进行参数微调,得到微调后的模型.若目标数据集和源数
据集分布较类似,可采用模型微调的方法.

为了使微调后的小样本分类模型取得较好的效果,使用何种微调方法需要被考虑.Howard 等人[14]在 2018
年提出了一个通用微调语言模型(universal language model fine-tuning,简称 ULMFit).与其他模型不同的是,此方
法使用了语言模型而非深度神经网络.该模型分为3个阶段:(1) 语言模型预训练;(2) 语言模型微调;(3) 分类器
微调.该模型的创新点在于改变学习速率来微调语言模型,主要体现在两个方面.

  1. 传统方法认为,模型每一层学习速率相同;而ULMFit中,语言模型的每一层学习速率均不相同.模型底 层表示普遍特征,这些特征不需要很大调整,所以学习速率较慢;而高层特征更具有独特性,更能体现
    出任务和数据的独有特征,于是高层特征需要用更大的学习速率学习.总体看来,模型底层到最高层
    学习速率不断加快.
  2. 对于模型中的同一层,当迭代次数变化时,自身学习率也会相应地产生变化.作者提出了斜三角学习
    率的概念,当迭代次数从 0 开始增加时,学习速率逐渐变大;当迭代次数增长到某个固定

发表评论

表情：
评论列表 （有 0 条评论，135人围观）

还没有评论，来说两句吧...

相关阅读

    相关 小样本学习（Few-Shot Learning）

    如果您的智能手机需要拥有数千张您的照片才能识别您并解锁，这恐怕不尽人意。 在这种情况下，小样本学习或单样本学习是机器学习中的一个热门话题，它们的模型会根据一些训练示例进行预测。

    川长思鸟来川长思鸟来/ 0 赞/ 116 阅读

    相关 迁移学习 Transfer Learning

    在上次的[动画简介][Link 1]中, 我们大概了解了一些迁移学习的原理和为什么要使用迁移学习. 如果用一句话来概括迁移学习, 那务必就是: “为了偷懒, 在训练好了的模型上

    绝地灬酷狼绝地灬酷狼/ 0 赞/ 264 阅读