论文解读（MaskGAE）《MaskGAE: Masked Graph Modeling Meets Graph Autoencoders》

论文信息

论文标题：MaskGAE: Masked Graph Modeling Meets Graph Autoencoders
论文作者：Jintang Li, Ruofan Wu, Wangbin Sun, Liang Chen, Sheng Tian......
论文来源：2022,arXiv
论文地址：download 
论文代码：download

1 Introduction

 　　MAE 在图上的应用——2022 最潮的方法。

2 Related work and Motivation

2.1 GAE 

　　GAEs采用了经典的编码器-解码器框架，旨在通过优化以下二进制交叉熵损失，从编码图的低维表示中进行解码：

　　　　LGAEs=−(1|E+|∑(u,v)∈E+loghω(zu,zv)+1|E−|∑(u′,v′)∈E−log(1−hω(zu′,zv′)))LGAEs=−(1∣∣E+∣∣∑(u,v)∈E+loghω(zu,zv)+1∣∣E−∣∣∑(u′,v′)∈E−log(1−hω(zu′,zv′)))

　　其中，zz 代表低维隐表示，fθfθ 代表参数为  θθ 的 GNN encoder，hωhω 代表参数为  ωω 的 GNN decoder，E+E+ 代表  positive edges ，E−E− 代表 negative edges 。

2.2 Motivation

　　按照互信息的思想：希望最大化 k-hop 节点对子图之间的一致性，但是伴随着 KK 值变大，过平滑的问题越发明显，此时子图大小对节点表示的学习不利。因此有：

　　Proposition 1：

　　

 　　分析了一堆废话................

　　后面呢，必然出现解决过平滑的策略。

　　Recall：解决过平湖的策略

• • 残差；
  • 谱图理论；
  • 多尺度信息；
  • 边删除；

3 Method：MaskGAE 

　　我们提出了 MGM 代理任务的 MaskGAE 框架：

　　

　　出发点：MGM

　　　　Gmask ∪Gvis =GGmask ∪Gvis =G

　　　　Gmask =(Emask ,V)Gmask =(Emask ,V)

3.1 Masking strategy

Edge-wise random masking (Tedge (Tedge 

　　　　Emask ∼Bernoulli(p)

Path-wise random masking (Tpath

　　　　Emask ∼RandomWalk(R,nwalk ,lwalk )

　　其中，R⊆V 是从图中采样的一组根节点，nwalk  为每个节点的行走次数，lwalk  为行走长度。

　　在这里，我们遵循度分布，抽样了一个节点的子集（例如，50%），没有替换作为根节点 R。这样的采样也可以防止图中存在的潜在的长尾偏差（即，更多的屏蔽边是那些属于高度节点的边）。

3.2 Encoder

• GCN Encoder    
• SAGE Encoder
• GAT Encoder

3.2 Decoder

Structure decoder

　　　　​hω(zi,zj)=Sigmoid(zTizj)

　　　　​hω(zi,zj)=Sigmoid(MLP(zi∘zj))

Degree decoder

　　　　gϕ(zv)=MLP(zv)

3.3 Learning objective

　　损失函数包括：

• • Reconstruction loss：计算的是掩码边 E+=Emask    的重构损失；
  • Regression loss：衡量的是节点度的预测与掩蔽图中原始节点度的匹配程度：

 　　　　　　Ldeg=1|V|∑v∈V‖gϕ(zv)−degmask (v)‖2F

　　其中，degmask  代表的是掩码图 Gmask  的节点度。

　　因此，总体损失为：

　　　　L=LGAEs+αLdeg

4 Experiments

Link prediction

　　

node classifification 

　　

5 Conclusion

　　在这项工作中，我们首次研究了掩蔽图建模(MGM)，并提出了MaskGAE，一个基于理论基础的自我监督学习框架，以 MGM 作为一个有原则的借口任务。我们的工作在理论上是基于以下理由：(i)气体本质上是对比学习，使与链接边相关的配对子图视图之间的互信息最大化；(ii)MGM可以有利于互信息最大化，因为掩蔽显著减少了两个子图视图之间的冗余。特别是，我们还提出了一种路径掩蔽策略，以促进米高梅的任务。在我们的实验中，MaskGAE 比 GAE 表现出显著改善的性能，并且在链路预测和节点分类基准上与强基线相当或更好。

 

• 论文信息
• 1 Introduction
• 2 Related work and Motivation
•     2.1 GAE 
•     2.2 Motivation
• 3 Method：MaskGAE 
•     3.1 Masking strategy
•     3.2 Encoder
•     3.2 Decoder
•     3.3 Learning objective
• 4 Experiments
• 5 Conclusion

__EOF__