ICLR20： Pre-GNN STRATEGIES FOR PRE-TRAINING GRAPH NEURAL NETWORKS

talk

胡伟华+jure、这篇文章是 图-level的task，鉴于经常看到，因此看看~

摘要

机器学习的应用要求模型在测试集上的效果也好，通常测试的分布不同于训练的数据，且训练标签稀少。一个有效的方法是在数据充足的数据上预训练，然后微调。cv+nlp很常见。本文提出在 node+graph上要一起预训练，两者缺一不可。

1. INTRODUCTION

迁移学习：在一些任务上预训练，然后在相关任务上重新复用。 预训练能够解决两个问题：1.标签少 2. 分布外泛化问题
迁移学习的成功 不仅 需要增加预训练数据的样本（相同域）还要实质性的域经验来选择那些和下游任务相关的样本，否则会导致负迁移
本文针对预训练在graph-level的预测问题。2方面贡献： 1.第一个系统性调研图上预训练并建立了数据集。 2.设计方法来解决域外难迁移问题。 发现：并不是预训练gnn就有效，naive去会导致负迁移。令人吃惊的是：sota的图级多任务监督预训练收效甚微，且很多数据集上发生负迁移。
本文方法：是使用节点和边的信息来使得GNN捕获domain-specific的信息，帮助graph-level的信息，从local和global上。并且强调，单方面只关注graph-level不行，node的经过readout 也会有助于图级。

2. PRELIMINARIES OF GRAPH NEURAL NETWORKS

3. STRATEGIES FOR PRE-TRAINING GRAPH NEURAL NETWORK

3.1 NODE-LEVEL PRE-TRAININ

3.1.1 context prediction

使用子图来预测他们周围的图结构。目的是 相似结构的节点的表征相近
这里首先定义节点的K跳邻居。 context就是 r1-r2的邻居所构成的子图。通常r1
使用一个GNN将context graphs 编码成固定长度的 vectors。 这个context GNN先学到nodes的然后avg得到fixed’的向量。
采用负采样二分类来联合学习GNN和context GNN。判断是否neighbor和context是属于相同的一个节点。 正负样本对相同，损失采用负对数似然（GraphSAGE那个 类似于infonce）

3.1.2 ATTRIBUTE MASKING: EXPLOITING DISTRIBUTION OF GRAPH ATTRIBUTES

mask节点或者边的属性，让GNN去预测。

3.2 GRAPH-LEVEL PRE-TRAININ

有两种图级上的预训练，预测整个图的属性（比如标签），或者预测图的结构

3.2.1 SUPERVISED GRAPH-LEVEL PROPERTY PREDICTION

采用：

graph-level multi-task supervised pre-training to jointly predict a diverse set of supervised labels of individual graphs
1

比如分子中 通过预测分子的属性。蛋白质预测中，预测已经知道的蛋白质的功能。
如果只采用graph-level的预测，是不可行的，会负迁移。因此3.1 node的不可少。

3.2.2 STRUCTURAL SIMILARITY PREDICTION

实现起来复杂，leave this for future work。

3.3 OVERVIEW: PRE-TRAINING GNNS AND FINE-TUNING FOR DOWNSTREAM TASKS

节点级自监督预训练+ 图级多任务监督预训练