小样本学习导论

概念区分

meta learning 、 transfer learning 、 multi-task learning 、 few shot learning

• 元学习（meta learning）

• 多任务学习（multi-task learning）：

需要将多个任务同时学好。我们常见的机器学习方式是单任务学习与之相对，只做动物图像分类或人脸识别。而现实生活中的学习任务是有内在联系的，部分知识可以共享，例如，一位跳高运动员不仅要了解如何跳更高，还需涉及助跑，降落姿态等相关子任务内容。

• 迁移学习 ( transfer learning ) ：

给定源域 A 和学习任务a 、目标域 B 和学习任务b  ,迁移学习的目的是获取源域A  和学习任务a  中的知识以帮助提升目标域中的预测函数  的学习，其中A≠B  或者a≠b  。

meta和transfer二者之间应该是没有绝对的分界线的，至少目前没有公认的分界线。如果已知要 transfer 过去的 task，那就是 transfer learning，如果要往未知的 task 去 transfer knowledge，那就是 meta-learning。

迁移学习、元学习、强化学习、联邦学习、对比学习等 - 是小叶呀 - 博客园 (cnblogs.com)

• few shot learning：

有观点认为few shot learning和meta learning是不同的两种方法，然而也有观点认为：meta learning是一种方式，few-shot learning是一类问题，我们用元学习的方式去解决少样本问题。目前我比较喜欢后者的表述，同时我认为在应用层面上看，这两个能用就行

总结一下，可以把对这几个学习打个比方：

• 元学习：一个学生，在小学阶段，学习了语文数学甚至是音乐。在培养了很好的学习方法以后，利用这个学习方法，在学习新学科，物理，历史，政治的时候，就可以很好的上手并取得好成绩。
• 迁移学习： 一个学生，在小学阶段，在数学成绩上非常突出，那么他在上初中以后，学习了物理，同样也可以很容易上手。但是对于历史政治这两门课，他就感觉力不从心。
• 机器学习：一个学生，就是一个典型的偏科生。就数学学得非常好，甚至参加了小学数学奥赛。但是学习其他科目，都是一塌糊涂。

后面将更新具体的学习~