9.7--prompt理论学习

但是这些表现低于有监督的方法，但是我们在工作当中，我们引入了PET
利用模板的训练
Pattern Exploiting Training(PET)

把分类变成了完形填空的问题，来帮助模型理解任务

最后卖弄一下他的论文
最后在训练集上运用了有监督的训练。

并且远远的很强的半监督的方法在有标签的样本数量不够的情况下

如果一篇，图1展现不了要做的工作，在表达方面这是不太好的。

PET是做情感分类的
有一定数量的模板，来把我们的样本来创建为一个任务描述，对于每个模板，有一个预训练模型来进行描述。
来训练PLM

best pizza ever 映射为一个模板
it was ____

PLM就可以知道我们这个任务是干嘛
并且预测这个地方会mask的值是什么
来计算一个梯度，来更新一个参数，更新好的PLM来进行学习

减少训练样本的数量

用三个左侧训练好的来给没有标签的样本打标签
集成

左边属于小T， 右边属于小D

当我们在图里面理解不了的，之后我们就去文章里面去理解。

T是什么？每一个模板，都单独来作为一个小的训练集。

T是一个小的训练集。可能是一个几十个
现在有一个几十个训练集，有文本，有标签
文本变成模板
训练多个PLM

D是用所有模型的继承用来标注一个无标签的数据集

D里面都是无标签的。来预测他的标签，取个平均值。
给D中的标签打上一个伪标签。

这边又可以作为一个训练样本，再来真正训练一个分类器，C， C是我们真正的一个分类器。

主动学习是指：我用一些模型来标出一些软标签，我来选择一些最难分类的样本我自己人工的打出来，这叫主动学习

而PET里面是全部都是机器打出来的，没有人打出来。

prompt加半监督

prompt+半监督+ensemble

文本生成必须用promt
再运用到GPT训练

今天就学完了！！！