论文《Link Prediction on Latent Heterogeneous Graphs》阅读

论文概况

本文是2023年WWW上的一篇论文，假设异质图上没有给出类型信息，本文定义了潜在异构图（LHG），它携带潜在的异构语义，因为节点/边的类型不能被观察到。为了解决类型信息缺失的问题，提出了LHGNN的模型，基于节点和路径级语义嵌入的新思想，以捕获节点上和节点之间的潜在语义。

Introduction

在潜在异构图上进行链路预测有如下挑战：

• 如何在没有任何类型信息的情况下捕获节点上和节点之间的潜在语义？
• 由于目标节点的上下文节点携带潜在的异构语义,因此如何区分它们,实现更细粒度的上下文聚合？

对于上述挑战，作者提出了LHGNN模型：（1）学习节点级别和路径级别的潜在语义（2）聚合潜在异构图的上下文信息

LHGNN

利用LHG作为输入，其中的LHGNN层可以进行多层堆叠，最后一层输出节点表示，进一步输入链路编码器，用于链路预测任务。LHGNN层是核心组件，它由两个子模块组成：一个是学习节点级别和路径级别潜在语义的语义嵌入模块，另一个是聚合消息的潜在异构上下文聚合模块。

A.语义嵌入

语义嵌入的目标是同时建模节点级和路径级的潜在语义。

a.节点级语义嵌入

对于每个节点，有两个嵌入：主嵌入hv，语义嵌入Sv。hv捕获节点的总体内容和结构信息。Sv由语义编码器生成，用于捕获节点潜在的语义信息（例如，节点类型信息、节点之间单跳或多跳关系信息）。

b.路径级语义嵌入

在LHG上，由于节点之间的异构多跳关系，路径可能携带不同的潜在语义。
在HIN中，使用元路径从不同的上下文节点捕获异构语义。但是，在LHG上，无法访问节点类型，因此无法定义或使用任何元路径。
因此，使用路径编码器将与路径相关联的节点级语义嵌入融合到路径级嵌入中。路径级语义嵌入试图模拟元路径在HIN上的作用，以捕获节点之间潜在的异构语义。
具体地说，首先执行随机游走采样一组路径。从每个目标节点开始，进行N次随机游走，每次采样获得的不同长度的路径可以捕获不同范围的潜在语义。接下来，对于每个路径 ，路径编码器对其进行编码，以生成路径级语义嵌入 。
“随机游走的思想可以借鉴”

B.潜在异构上下文聚合

a.上下文个性化

具体来说，使用可学习的转换函数个性化u到v的信息，它调制u的原始信息（即从前一层的主要嵌入）到个性化信息。

γ和β都是可学的向量，而且是对于每个路径p都是特定的

b.上下文聚合

𝐿(𝑝) 是路径的长度𝑝，指数作为一个加权方案，偏向于更短的路径。
最后得到第l层，节点v的主嵌入hv

C.链路预测

a.链路编码器

S𝑎,𝑏：节点a，b之间的潜在关系，W, U ,b都是可以学习的向量

b.损失函数

训练时的损失函数：受知识图中的翻译模型的启发，采用三元组损失函数

FiLM中的缩放和移位添加了约束：(FiLM：特征线性变换，见公式4)

总结

LHGNN的创新点是在未知网络节点和边类型的情况下获取节点级和边级潜在语义信息进行链路预测。