在图表示学习中，Transformer结构通过位置编码对图形结构进行编码，克服了GNN的几个局限性，但其使用位置编码生成的节点表示不一定能捕获他们之间的结构相似性，所以，为了解决这个问题，作者提出了Structure-Aware Transformer——一类新的自我关注机制的简单灵活的graph Transformers.
在计算注意力之前，提取扎根于每个节点的子图表示，将提取到的结构信息与原始的自我注意力相结合形成新的自我注意力。
优点：可以利用任何现有的GNN来提取子图表示。
GNN存在的缺点：over-smoothing 和 over-squashing
Absolute encoding:向输入节点特征添加或连接位置或结构表示
relative encoding:该策略将图上节点之间的相对位置或距离的表示直接结合到自我注意力机制中。
作者提出的SAT结合了消息传递GNN和Transformer架构的两个方面的优点。结合了一种绝对编码和一种新的相对编码，这种编码明确的结合了图形结构，从而设计了一种同时考虑本地和全局信息的Transformer架构。
在Transformer中，有两部分组成：a self-attention module and a feed-forward neural network
在self-attention module 中，