Prompt Learning : Prefix Tuning

Prompt Learning

首先Prompt Learning 称为提示学习，是最近比较火的一种NLP范式，过去“Pretrain+Finetuning"的模式虽然能够利用预训练语言模型在大规模语料库上的预训练带来的初始优良性能，但是对于不同的NLP任务，比如NER，Text Classification，Translation等，每个任务都对应一个特定的微调模型，虽然是可行的，但是仍然不方便且不优雅。

那么有没有一种方式可以不用一个任务对应一个模型，只需要一个模型就可以胜任多个任务呢？

提示学习应运而生，提示学习通过设计提示模板，对模型进行提示，从而将不同的任务都建模为语言建模问题。

Prefix Tuning

Prefix Tuning考虑的是对于不同的任务，其Prompt模板不应为人为设定的离散模板，而应该为连续的可训练的（所谓的Prefix—前缀），因此对于一组任务而言，仅仅需要一个模型以及这些任务的前缀列表即可完成，大大减少了模型的总参数。

于是对于不同的任务可以给定不同的任务训练连续的Prefix，具体来讲，语言模型的参数不变，仅仅训练Prefix的相关参数。