【图神经网络论文整理】（二）—— HOW ATTENTIVE ARE GRAPH ATTENTION NETWORKS?：GATv2

---

• ICLR 2022
• Shaked Brody（Technion）， Eran Yahav（Technion）Uri Alon（Language Technologies InstituteCarnegie Mellon University）
• 论文地址

本文介绍的论文《HOW ATTENTIVE ARE GRAPH ATTENTION NETWORKS?》。

作者改进了GAT网络在图数据上的注意力的局限性，提出了GATv2模型将原始的静态注意力调整成动态注意力机制，并在许多开源数据验证了改进后模型的有效性。

---

---

图注意力网络GATs是目前较为流行的GNN架构，在GAT中每个节点可以看成一个查询向量Q，该节点的邻居可以看成键向量K，然后基于Q和K计算对应的注意力分数，也可以说成是权重系数，然后利用该权重对该节点的邻居进行加权求和聚合操作，作为该节点新的表示向量。

但是这篇文章作者发现GAT计算的注意力表示能力非常有限，注意力得分排名不受查询节点的影响，作者将这种注意力定义为静态注意力。

静态注意力：

• 对于一组key向量