小样本相关论文复现—2-全局印象

An Improved Baseline for Sentence-level Relation Extraction

在关系分类的多个sentence中添加marker，起到一定的提示作用，比较了不同marker前提下，模型在关系分类任务中的表现。

1entity mask

这种技术引入了新的特殊标记[SUBJ-TYPE]或[OBJ-TYPE]来掩盖原文中的主体或客体实体，其中TYPE被替换为各自的实体类型。

2 entity marker

该技术引入了特殊的标记对[E1]、[/E1]和[E2]、[/E2]来包围主体和对象实体，因此将输入文本修改为“[E1]SUBJ[/E1]…[E2]OBJ[/E2]”的格式

3 Entity marker (punct)

此技术是前一种使用标点符号包围实体跨度的技术的变体。它将输入文本修改为“@SUBJ@…#OBJ#”。与前一种技术的主要区别在于，这种技术没有将新的特殊标记引入到模型的保留词汇表中

4 Typed Entity marker (punct)

类型实体标记（钟和陈，2021）。该技术进一步将NER类型合并到实体标记中。它引入了新的特殊标记hS:TYPEi、h/S:TYPE、hO:TYPEi、h/O:TYPEi，其中TYPE是命名实体标记器给出的相应NER类型。输入文本相应修改为“hS:TYPEi SUBJ h/S:TYPE…hO:TYPEi OBJ h/O:TYPE1”

5 Typed entity marker（punct)

我们提出了一种类型化实体标记技术的变体，它标记实体跨度和实体类型，而不引入新的特殊标记。这是为了分别用“@”和“#”关闭主题和对象实体。我们还使用标签文本表示子主题和对象实体类型，标签文本位于实体跨度之前，并用“*”表示主题或“∧” 对于对象。修改后的文本为“@sub-typesubj@…#∧ 对象类型∧ OBJ#“，其中sub-type和OBJ type是NER类型的标签文本

实验结果

在实验复现中，需要考虑wandb工具的使用，在terminal中输入:wandb init
然后徐打开网址后，复制对应的key,
复制之后，直接按enter即可，复制的key不会在终端中显示。

实验记录*自己测试

加了entity marker [E1]和[\E1]之后，在16shot条件下的测试结果。
在tarred数据集上：
epoch:49,loss:0.01703166402876377
epoch:49,loss:0.015437326394021511
{'dev_f1': 27.853777169782646}
{'test_f1': 24.800321783600527}

在retacred数据集上：
wandb:  dev_f1 45.16057
wandb:    loss 0.00817
wandb: test_f1 44.56357

1
2
3
4
5
6
7
8
9
10
11
12

KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction

基础的funetune阶段

knowprompt阶段

实验结果

PTR：Prompt Tuning with Rules for Text Classification

在小样本上的实验结果