EMNLP-21-Exploring Task Difficulty for Few-Shot Relation Extraction

Exploring Task Difficulty for Few-Shot Relation Extraction

文章出发点

文章在处理easy和hard task时，模型的性能表现有较大的差距。

总结

亮点，我觉得是任务难度的考虑，在损失函数中，根据关系相似度判断每个instance识别的难度，并适当的调整权重。这里有点意思。

另外，是关系原型的表示，从instance内部和instance之间建立层次，分别得到关系的原型表示，再用对比学习，进一步得到更佳原型表示，也还好。

但感觉，在评价任务难度上，做的不太好，只用相似度一个指标，覆盖不太全面的吧。

文章做了什么

设计了层次结构网络，学习local 和global级别的信息。
设计对比学习训练。
HCRP 由三个部分组成。混合原型学习模块通过捕获全局和局部特征生成信息原型，可以更好地捕捉关系的细微差异。然后使用关系原型对比学习组件来利用关系标签信息来进一步增强原型表示的判别能力。最后，引入了任务自适应焦点损失，以鼓励模型将训练重点放在艰巨的任务上。

1.1 层次原型学习

bert作为encoder。

1.1.1全局原型

每个关系的表示，采用关系名称和描述的embedding的【CLS】token——r。
之后，将该relation下的instance的embedding做average，在和【CLS】的embedding相加，得到最终的全局原型表示。

1.1.2local原型

根据instance中的token和关系描述的相似度作为token的weight，利用weighted sum形成local feature。

对于关系中的每个instance，每个instance的表示为（attention下的sum——是根据instance中的token和关系的simliary计算的attention score）

对于关系中的所有instance，同样计算，instance和relation的相似度，作为instance的注意力权值，得到关系的local represention。

1.1.3 层次表示（hybrid prototype represention）

hybrid 表示是采用的global和local的concatenation得到的。

1.2 对比学习

为了获得更具有表示力的关系原型表示，采用对比学习的方式得到关系的表示。
以关系表示为锚，同一类的原型为正类，不同类的原型为负类。

goal is to distinguish the positive from the negatives.

1.3 Task Adaptive Focal Loss

根据关系的相似度判断任务的难度，关系越相似，说明任务难度越大。——建立相似度矩阵。
L_TF分类损失
L_C是对比学习的损失。

实验部分

三种不同的 3-way-1-shot 设置，如表 4 所示。随机（random）是一般评估设置，它从验证关系随机抽取 10,000 个测试任务，详见第 5.1.2 节。 Easy 表示评估的任务很容易。我们将每个任务中的 3 个关系固定为 3 个非常不同的关系，分别是“crosses”, “constellation”, and “military rank”.。不同的任务拥有不同的实例，但关系相同。同样，在hard task中，我们选择 3 个相似的关系，分别是“母亲”、“孩子”和“配偶”“mother”,“child”, and “spouse”