10.31+11.1

出现一个错误

SyntaxError: Non-UTF-8 code starting with ‘\xe8’ in file D:\soft\pycharm\pythonProject1\4.py on line 83, but no encoding declared;

使用UTF-8格式
T1.1、需要在代码顶部加下边一行代码即可(推荐)
将此代码放在程序最上端，此处#而不是注释，是因为其是告诉系统的utf-8支持中英文。

# -*- coding: utf-8 -*- 
 
或
 
# coding=utf-8
1
2
3
4
5

观看的文章
原文链接：https://zhuanlan.zhihu.com/p/399295895
格局打开，带你解锁 prompt 的花式用法

将文本理解任务转换为预训练的任务形式，再使用预训练语言模型

fine-tuning 的思路则是强行将任务转换成了另一种形式

promt是什么

prompt 可以看做是对预训练语言模型中已经记忆的知识的一种检索方式

PLM是什么

Pre-trained Models for Natural Language Processing
预训练语言模型

fine tuning

强行将任务转换成了另一种形式

prompt tuning又是什么

这两个有什么区别

一个例子：
通常的预训练任务有Masked Language Model， 在文本情感分类任务中，对于 “I love this movie.” 这句输入，可以在后面加上prompt “The movie is ___” 这样的形式，然后让PLM用表示情感的答案填空如 “great”、“fantastic” 等等，最后再将该答案转化成情感分类的标签，这样以来，通过选取合适的prompt，我们可以控制模型预测输出，从而一个完全无监督训练的PLM可以被用来解决各种各样的下游任务。

the power of scale for paraeter -efficient prompt tuning(EMLP 2021)

大模型
参数高效微调
提示微调（prompt tuning)

下游任务

（1）prompt变成可学习的向量，微调prompt来适配下游任务
（2）PLM参数规模越大，prompt tuning 的性能和全参数微调越接近
（3）这种基于soft promt 的prompt tuning 方法可以看作prefix tuning 的简化版（只加在输入上）

profix 在每层都加上embedding

每个模型都进行微调

提示微调，每个任务都在一个事件里，不为每个任务布置一个模型

提示微调大概怎么做？

提示微调产生的因素
模型参数量
初始化方法

提示微调，额外的语言模型的生成适配

prompt长度，做了各种尝试的

初始化文本的词向量初始化
prompt转化为 soft prompt
使用类别词向量初始化，类似于提供选项

Prompt tuning

prompt tuning 本身的三个问题
一、在小样本学习场景上表现不太行
二、收敛速度比较慢
三、调参比较复杂

keywords: Large-scale PLMs, Parameter-efficient tuning , Prompt tuning , Pre-trained Prompts

如何预训练promt

PLM参数规模越大，prompt tuning 和全参数微调性能越接近
性能接近前提：下游任务训练样本充足
在小样本场景下，promt tuning和全参数微调的性能差异会很大
解决方案：预训练promt,基于预训练的prompt进行prompt tuning

soft prompt是什么