论文解读（MGAE）《MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs》

论文信息

论文标题：MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs
论文作者：Qiaoyu Tan, Ninghao Liu, Xiao Huang, Rui Chen, Soo-Hyun Choi, Xia Hu
论文来源：2022, ArXiv
论文地址：download 
论文代码：download

1 Introduction

 　　MAE 在图上的应用。

2 Method

　　整体框架：

　　

2.1 Encoder

　　本文的掩藏目标是随机掩藏一部分（30%）边，然后考虑 GCN、GraphSage 作为主干网络提取特征信息，对于被掩藏的边将通过 Decoder 训练得到。

　　掩藏策略：

• • Undirected masking：将图看成无向图，删除 (u,v)$(u,v)$ 之间的边，对应于 A$A$ 中的两条边；
  • Directed masking：将图看成有向图，删除 (u,v)$(u,v)$ 之间的边，对应于 A$A$ 中的一条有向边；

　　注意：上述两种策略边掩藏率是设置一样的。

2.2 Cross-correlation decoder

　　由于Encoder 采用的是基于消息传递机制的 Encoder，所以最终只得到被保留部分的节点潜在嵌入。

　　Encoder K$K$ 层传播结构共生成的保留节点嵌入矩阵 {H(1),H(2),⋯,H(K)}$\{{\mathbf{H}}^{(1)},{\mathbf{H}}^{(2)},\cdots ,{\mathbf{H}}^{(K)}\}$，对于存在的保留节点进行 cross-correlations 操作，即

　　　　hev,u=∥Kk,j=1h(k)v⊙h(j)u${\mathbf{h}}_{e_{v,u}}={\Vert }_{k,j=1}^K{\mathbf{h}}_v^{(k)}\odot {\mathbf{h}}_u^{(j)}$

　　其中：

• • ∥$\Vert$ 表示连接；
  • ⊙$\odot$ 表示元素乘法；
  • hev,u∈RdK2${\mathbf{h}}_{e_{v,u}}\in {\mathbb{R}}^{d{K}^2}$ 表示节点 v$v$ 和节点 u$u$ 之间的交叉表示，分别考虑它们的 k$k$ 阶邻域和 j$j$ 阶邻域；

　　为避免过于复杂，通常 K=2$K=2$。

　　假设剩余的节点有 m$m$ 个，那么输入到对应的 MLP Decoder  的将有 m(m−1)$m(m-1)$ （无向图）个特征向量，最终预测 (u,v)$(u,v)$ 直接边存在的概率通过下式生成：

　　　　yv,u=MLP(h(K)v,h(K)u)$y_{v,u}=\mathrm{MLP}({\mathbf{h}}_v^{(K)},{\mathbf{h}}_u^{(K)})$

2.3 Reconstruction target

　　MGAE解码器，只重建掩码的边，目标函数如下：

　　　　L=−∑(v,u)∈Emask logexp(yvu)∑z∈Vexp(yvz)$\mathcal{L}=-\sum _{(v,u)\in {\mathcal{E}}_{\text{mask }}}\log \frac{\exp \left({\mathbf{y}}_{vu}\right)}{\sum _{z\in \mathcal{V}}\exp \left({\mathbf{y}}_{vz}\right)}$

　　为加速训练，本文采用负采样策略。

2.4 Algorithm

 　　整体算法如下：

　　

3 Experiments

数据集

　　

Link prediction

　　

Node classifification

　　

 

4 Conclusion

　　图上边掩码AE。

 

修改历史

2022-06-17 创建文章

论文解读目录

• 论文信息
• 1 Introduction
• 2 Method
•     2.1 Encoder
•     2.2 Cross-correlation decoder
•     2.3 Reconstruction target
•     2.4 Algorithm
• 3 Experiments
• 4 Conclusion
• 修改历史

__EOF__