EMNLP-21-Document-level Entity-based Extraction as Template Generation

1领域：

文章级别基于entity的信息抽取（第一次见这种任务描述），文中给出的任务说明是：文档级基于实体的提取 (EE) 是从跨多个句子的非结构化文本中提取以实体为中心的信息（例如实体及其关系）的任务。——entity role and entity relation。

2总结

整理完之后，感觉模板只是很粗浅的一部分，是这个论文的一部分，他的关键是如何把控BART的generation，文中考虑BART原有的generation概率，也考虑了copy机制，在copy机制中，改进了attention head的选择方式，不再是考虑全部的attention head，而是选择top-k的head作为copy 的计算来源。

模板是形，BART改进是实。它们保证了整个模型的效果。

3文章工作：

Document-level entity-based extraction (EE),建模为两个文档级 EE 任务的生成框架：角色填充实体提取 (REE) 和关系提取 (RE)。
两个任务的模板如下：

创新点：应该是copy mechanism，注意力机制。Cross-attention guided copy mechanism
(1) naive copy: 在时间t时刻的Pcopy 在所有input tokens上的分布的一种简单方法：是取最后一个解码器层在所有头上的交叉注意力的平均值。
（2）文中提出的top-k复制机制，只有前k重要的attention heads用于计算copy distribution。
每个注意力头被表示为:

之后，使用转移矩阵，计算头的重要性程度：

选择top-k的注意力头作为copy 计算的依据：

4train目标

BART预测的word是结合了generation概率和copy概率：pgen ∈ [0, 1] is the generation probability

计算pre word和target word之间的损失函数。

5消融实验

（1）Top-k中，K的取值。
（2）不同的模板。