论文阅读《ICDE2023：Relational Message Passing for Fully Inductive Knowledge Graph Completion》

论文链接

工作简介

在知识图谱补全(KGC)中，预测涉及新兴实体和/或关系的三元组， 这是在学习KG嵌入时看不到的，已成为一个关键挑战。带有消息传递的子图推理是一个很有前途和流行的解决方案。

最近的一些方法已经取得了很好的性能，但它们

(1)通常只能预测单独涉及未见过的实体的三元组，无法解决更现实的同时具有未见过的实体和未见过的关系的完全归纳情况。

(2)经常在未充分利用关系模式的实体上进行消息传递。

本文中，作者提出了一种名为RMPI的新方法，它使用一种新的关系消息传递网络来进行完全归纳KGC。它直接在关系之间传递消息，以充分利用用于子图推理的关系模式，使用图转换、图修剪、关系感知的邻域注意力、寻址空子图等新技术，并可以利用KG的本体模式中定义的关系语义。

现有的归纳补全方法大多假设测试阶段的所有关系都是通过学习的嵌入看到的，这经常违反现实世界的进化知识图谱，特别是通过开放信息提取系统和那些公开编辑的系统构建的知识图谱。

此外， 它们经常直接在实体上传递消息，这些实体上的关系模式没有被充分利用。

我们将这些工作中调查的测试中只有未见过的实体的归纳KGC案例称为部分归纳KGC，而将那些在测试中既有未见过的实体又有未见过的关系的更现实、更具有挑战性的案例称为完全归纳KGC。

RMPI包括一个面向关系的消息传递网络用于子图推理。它首先将原始KG中的三元组周围的子图转换为新的关系视图图，其中相互关系特征被更直接地表示。然后，它通过关系消息传递网络从关系子图中学习一个未见过的关系的嵌入，其中新的图修剪和邻域注意力技术被开发出来，以兼顾效率和效果，新的邻域聚合被用于解决空子图问题。

本文主要贡献：

本文是最早研究完全归纳KGC的人之一，同时考虑子图结构和本体模式。

本文提出了一个名为RMPI的健壮的KGC模型，该模型具有有效的关系消息传递和子图推理的新技术，支持部分和完全归纳KGC。

在4个新构建的基准和14个来自不同kgc的公共基准上进行了广泛的实验，RMPI及其变体通常优于基准，包括最先进的方法。

工作简介-问题描述

在一个常用的部分归纳KGC设置中，预测时新出现了一组ε∩𝜀′=∅的未见实体𝜀′，那么目标就是预测一个三元组，这个三元组中r∈R，h和t∈ 𝜀′ 。G通常被称为训练图。

而由未见过的实体𝜀′和关系R组成的三元组的图通常被称为测试图（是存在未见实体还是全部由未见实体组成，还需要再仔细看作者们的数据集）。

在本文中，在测试图中引入一组R∩𝑅′=∅的未见关系𝑅′，将上述部分归纳KGC扩展为完全归KGC。进一步考察两种情况：一种是涉及见过关系又涉及未见关系的一般测试图，另一种是只涉及未见关系的测试图。

我们将第一个测试图的评估命名为具有半未见关系的测试图，第二个侧视图命名为完全未见关系的测试图。

工作简介-基于子图的部分归纳推理

Grail论文阅读笔记

预测r∈R，h和t∈ 𝜀′的三元组，使用GraIL的思想以实体独立的方式从这个三元组周围的子图学习和利用结构语义。

GraIL的基本工作流程：

①提取k-hop包围子图，围绕目标三元组。

②子图中每个实体都被标记为元组(d(i,u),d(i,v))，其中d(i,u)表示由i到u之间最短路径，不计算通过v的任何路径。

③最终通过GNN编码器总结子图，并使用编码后的子图表示和目标关系的嵌入对目标三元组的可能性进行评分。

基于GNN的编码器采用通用消息传递方案，通过将节点表示与其邻居表示的聚合相结合来迭代更新节点表示，并考虑了子图的多关系特征。(RGCN)

实体i在第k个GNN层 中的嵌入:

 输出K层hKi后的最终嵌入以生成子图表示hKG(u,r,v)并对三元组进行评分

工作简介-本文的模型架构

本文充分利用关系所反映的推理线索，提出直接从关系向关系迭代传递消息(特征)来推断目标三元组的可能性，在此过程中不使用实体特征，而可以推断未见过的关系的嵌入，并可选择从KG的本体图式中通过关系语义进一步增强。

为了实现这一目标，提出了一种如图所示的关系消息传递网络。简而言之，给定一个目标三元组:

(i)提取一个封闭的子图G并将其转换为一个新的图，该图可以通过它们在G中的共现直接表示关系之间的关系.

(ii)通过多个消息传递层在关系之间传播特征，这些消息传递层使用图修剪策略进行优化，以获得更高的计算效率，并使用邻域注意力机制以获得更高的准确性.

(iii)计算目标三元组的分数，使用目标关系的输出表示，在此过程中通过获得未见过的关系的归纳嵌入相同的消息传递层，并且它们进一步被允许以apriori的方式被本体模式增强。

 第一步和第二步的技术细节分别在以下两部分中介绍—子图提取和转换以及关系消息传递，而第三步的细节主要由以下未见关系的推理、三重评分和模型训练所涵盖。考虑到封闭的子图有时是空的，关系消息传递无法应用，我们还建议从目标三元组的披露子图中探索判别性特征进行扩充，这在最后小节中介绍-处理空子图。

工作简介-子图提取和转换

给定一个目标三元组(u，rt，v)，通过以下步骤提取其k跳包围子图G。首先，从原始KG中收集两个目标实体u和v的k-hop传入和传出邻居，分别记为NK(u)和NK(v)。然后，取相邻集合的交集，即NK(u)∩NK(v)，修剪与u或v中的任何一个孤立或距离大于K的节点，并添加头尾都属于修剪后的实体集合的三元组(即边)，从而生成包围子图。这样，我们就得到了一个从目标头到目标尾的距离最多为K+1的子图，反之亦然。

G实际上是作为原始KG的实体视图中的一个图，其中图节点对应实体，边被关系标记。为了更直观地表示关系之间的有向邻接，我们将其做一个转换，即在关系视图中生成一个新的图，在这个转换过程中，原始图中的所有边(由标记的关系及其连接的实体对识别)都被转换为节点，并且每两个新节点的对应关系都与原始图中至少一个共同实体相关联。

我们将G的这样一个关系视图子图表示为R(G)。

定义连接r1到r2的边H-H是因为在原始图中关系r1的头实体也是关系r2的头实体，T-H表示r1的尾实体也是r2;的头实体PARA表示r1和r2的头实体和尾实体都是相同的;而交叉的头实体和尾实体则用LOOP表示。这些类型的边为关系视图中的图建模了不同的关系连接。

工作简介-关系消息传递

接下来展示如何在R(G)上执行消息传递。由于R(G)比原始图G大得多，密度也大得多，在所有关系节点上进行消息传递的计算效率更低。

受GraphSAGE[18]中使用的邻域采样策略的启发，一个用于大图的GNN模型，该模型首先为每个图节点采样一个邻域子集(直至深度K)，然后在这个采样的图上执行消息传递以生成其嵌入，而不是考虑整个邻域。

还考虑在一次迭代中不更新所有的图节点。考虑到最终目标是从其k跳邻居中迭代传递(聚合)目标关系rt的信息，建议：

(i)根据节点是否落在目标关系rt的k跳邻域内对图上的节点进行采样，以生成一个以目标关系为根节点的树状图，即目标关系引导的图修剪策略。

(ii)只聚合和更新满足每个深度递归所必需的表示。

具体来说，给定一个具有k个GNN层的消息传递模型，我们首先从目标关系节点开始，并通过1-3步向前采样其完整的邻域设置到深度K。考虑到消息传递的方向，我们对每个节点的所有传入邻居进行采样。然后，按照步骤4-8逐层进行消息传递。特别是在k∈{1,2，…， K}，我们通过聚合其有向邻居的特征(步骤6)并结合自身的特征进行更新(步骤7)来计算仅在(K−k)跳内的邻居节点的潜在表示，因为这些节点将在未来的消息传递中将其特征贡献给目标关系节点的表示学习。例如，当K = 3时，第一层计算在2跳以内的节点的潜在特征;而最后一层只聚合根节点的邻域特征。最后，我们利用最后一层的目标关系输出的嵌入，它已经融合了来自其k跳邻居的消息，来做出预测。通过这种方式，我们通过减少参与聚合并在每次迭代时更新的节点数量，极大地降低了计算成本。

考虑到不同边类型所说明的关系节点之间的不同连接，我们遵循R-GCN[28]的思想在聚合中 对它们进行建模。此外，我们还应用了一种目标关系感知的邻域注意力机制，以突出与目标关系高度相关的邻居。形式上，第k个GNN层的聚合函数定义如下:

 

 

工作简介-用未见过的关系进行推理

1)利用图结构:上述模型成功地展示了图中关系节点之间的消息传递方式，其中给定关系节点的特征是从其相邻关系的表示中获得的。在测试中，对于一个首次出现的未见关系，我们通过聚合其在训练中已经学习到的相邻已见关系的嵌入，使用之前定义的训练良好的聚合函数，直接生成其嵌入，而无需修改或重新训练模型。

2)利用本体模式:一个KG通常伴随着一个本体作为其模式，以获得更丰富的语义和更高的质量。例如，RDF Schema-based本体模式定义了实体(也就是概念)、属性(包括对象属性即关系，和数据属性)、概念和关系层次、约束(例如关系域和范围，以及概念脱节)的类型。在这些本体中构建的许多词汇带来了可见关系和未见关系之间更丰富的语义关系(连接)。因此，除了图结构之外，我们还研究利用来自给定KG的本体的信息来进行具有未见过关系的三元组预测。

工作简介-评分函数与模型训练

最后，为了获得目标三元组(u，rt，v)的可能性得分，我们在k层消息通过线性层后传递rt的输出表示:

遵循之前的工作，整个模型是通过对比正负三元组的分数来训练的，使用例如基于边际的排名损失。一般来说，给定KGs中的每个现有三元组被视为正三元组，而负三元组是通过用一个均匀采样的随机实体替换其头(或尾) 而生成的。相应地，为负目标三元组提取另一个封闭子图。损失函数为:

 其中T是训练图中所有三元组的集合;pi和ni分别表示正的和负的三元组;γ是间隔超参数，它通常是一个大于0的值，以得分正三元组高于负三元组。在预测过程中，对于一个测试三元组，会提取相同的封闭子图，并用于估计其可信度。

工作简介-处理空子图

在实践中，相当多的三元组，特别是那些随机采样的负三元组，都有空的封闭子图，即在跳k下的子图中不存在有效的边。在这种情况下，要想推断一对实体之间的关系或区分正三元组与负三元组之间的关系，几乎不可能捕获图结构语义。

针对这一点，我们尝试探索来自目标三元组的K-hop披露子图的额外输入。具体来说，我们首先取目标头实体u和尾实体v的邻居集合NK(u)和NK(v)的并集，即NK(u)∪NK(v)，生成K-hop披露子图，然后按照第III-B节所述的相同转换步骤将其转换为关系-视图子图，最后在其上执行消息传递，以学习目标三元组的补充判别特征。鉴于披露子图的规模比相应的封闭子图更大，我们对目标关系节点的一跳邻居进行采样，并使用注意力机制对其特征进行聚合，该机制根据不同邻居对中心目标关系节点的重要性为其分配不同的权重。

 最后，我们将聚合后的向量与包围子图的表示输出进 行集成，以做出更全面的三重评分。

或者

实验结果

为了评估两种技术的有效性—在披露子图中用于处理空包围子图(NE)的一跳邻域聚合，以及消息 聚合(TA)中的目标关系感知邻域注意力，测试了几种 RMPI变体:没有NE和TA的RMPI-base，有NE的RMPI-NE， 有TA的RMPI-TA，以及同时有NE和TA的RMPI-NE-TA。

基准统计。“TR”和“TE”分别是训练图和测试图的缩写。“#R/E/ T”表示关系/实体/三元组的数量：

半见过关系设置下的全归纳KGC测试结果：

完全不可见关系设置下的完全归纳KGC测试结果：

仅用未见过的实体部分归纳KGC的结果： 

 使用基于求和的融合函数(SUM)函数和基于拼接的融合函数(CONC) 的RMPI-NE的结果：

 

部分归纳KGC有(w)和没有(w/o)本体图式。(S)和(C)分别代表基于求 和和基于拼接的融合函数。本体论模式改进的结果有下划线：