CS224W 7 A General Perspective on Graph Neural Networks

目录

A General GNN Framework

A single GNN layer

基本形式

Classical GNN Layers: GCN

Classical GNN Layers: GraphSAGE

Classical GNN Layers: GAT

动机

Attenion Mechanism

Multi-head attention

Attenion Mechanism的优点

 GNN Layer in Practice

Stacking Layers of a GNN

Stack layers sequentially

结构

Over-smoothing Problem

---

A General GNN Framework

1.GNN Layer = （1）Message +（2） Aggregation

        GCN，GraphSAGE，GAT

2.Connect GNN layers into a GNN

        依次堆叠GNN layers

        添加skip connection的方法

3.Graph augmentation

        Graph  feature augmentation

        Graph structure augmentation

4. 学习目标函数

        监督/无监督的目标函数

        节点/边/图水平的目标函数

A single GNN layer

基本形式

GNN layer将一组vectors(v的邻居节点L-1层的嵌入 与 节点v L-1层的嵌入)压缩为单个vector

为什么message要包含节点自身v L-1层的嵌入：否则节点v本身的信息会丢失

包含两部分： Message(节点嵌入的转换)与Aggregation(聚合来自不同节点的message)

Classical GNN Layers: GCN

Message：每个节点u，由节点v的度归一化

Aggregation：对来自所有邻居节点的messages求和，再应用激活函数

Classical GNN Layers: GraphSAGE

1.GraphSAGE的Message在AGG(.)中实现。

2.包含两个阶段的Aggregation：聚合邻居节点；聚合节点自身信息

 3.AGG方式多样

 4.L2Normalization

对每一层的节点使用L2 Normalization

• 没有L2 Normalization，不同节点的embedding有不同规模
• 在有些情况下，加入L2 Normalization后会有性能的提升
• 在L2 Normalization之后，所有向量有相同的L2-norm，都为1

Classical GNN Layers: GAT

动机

在GCN与GraphSAGE中，权重因子，是基于图的结构特性(node degree)决定的，所有节点v的邻居节点u都有相同的重要性。

不是所有邻居节点都有相同的重要性，所有计算节点的embedding时应遵顼attention策略，为不同邻居节点指定不同的weights。

Attenion Mechanism

1.基于注意力机制计算节点l层的embedding

（1）首先计算注意力系数(attention coefficients)。使用注意力机制a，基于节点对u、v的messages计算它们的

 表明了u的message对节点v的重要性

（2）计算最终的attention weight——使用softmax归一化

（3）基于attention weight加权求和计算节点v的第l层的embedding

2.注意力机制a的形式

a可以简单的为单层神经网络

a具有要训练的参数，和其它参数联合训练，例如

Multi-head attention

多头注意力机制不同组的α由不同的function a组成，最后计算节点v的第l层的embedding，可以拼接或者求和。

Attenion Mechanism的优点

允许为不同邻居节点指定不同的重要性值

计算效率高。可以从图中所有边并行的计算attentional coefficients；Aggregation可以对所有节点并行计算。

只关注局部邻居节点。

 ps:重要性可能不对称，我给你的信息很重要，但你的信息对我来说不重要

 GNN Layer in Practice

可以在单层GNN layer里添加现代的深度学习模块，非常有效。

1.BN

对embedding的每一个维度进行normilzation

2.Dropout

Dropout用于message function里的线性层

 3.Activation

Stacking Layers of a GNN

有两种将GNN layers连接成GNNd 方法：依次堆叠layer；添加skip connections

Stack layers sequentially

结构

Over-smoothing Problem

不是GNN layers堆叠的越深越好

1.定义

所有节点的embeddings收敛到相同的值，但是期望的是节点有不同的embedding。

2.原因

Receptive field:决定感兴趣的节点的embedding的节点集。当K层GNN时，每个节点的Receptive field有K-hop的neighborhood。

如果两个节点的Receptive field高度重叠，那么它们的embeddings高度相似。

堆叠许多GNN layers——节点有highly overlapped receptive field——节点embeddings高度相似——出现Over-smoothing Problem

 3.解决方法

(1)谨慎加GNN layers

不像NN(例如CNN)，加入更多的GNN layers不总是有帮助

step1:分析解决问题必要的receptive field

step2:设置GNN layers的数量比receptive field稍微多一点

(2)Expressive Power for Shallow GNNS——当GNN layers很少时增加表达能力

• 方法1：增加每一层GNN layer的表达力

原来的每个transformation或者aggregation都是one linear layer,可以将transformation或者aggregation变为DNN

• 方法2：添加不传递message的layers

一个GNN不需要只包含GNN layers，例如，可以在GNN layers之前或之后添加MLP作为预处理层或者后处理层。预处理在编码node features时很重要；后处理在基于embeddings推理或转换时很重要。

 (3)Add skip connections in GNNs——当问题需要许多GNN layers时

从过度平滑观察：在早期的GNN层的节点嵌入有时可以更好地区分节点

解决方案：我们可以通过在 GNN 中添加shortcuts，增加早期层对最终节点嵌入的影响。

skip connections创造了混合模型：混合两个不同的层或者模型——上一层和当前层message的加权和