论文解读（IGSD）《Iterative Graph Self-Distillation》

论文信息

论文标题：Iterative Graph Self-Distillation
论文作者：Hanlin Zhang, Shuai Lin, Weiyang Liu, Pan Zhou, Jian Tang, Xiaodan Liang, Eric P. Xing
论文来源：2021, ICLR
论文地址：download 
论文代码：download

1 Introduction

　　创新点：图级对比。

2 Method

　　整体框架如下：

　　

2.1 Iterative Graph Self-Distillation Framework

　　在 IGSD 中，引入了一个结构相似的两个网络，由 encoder fθ$f_{\theta }$、projector  gθ$g_{\theta }$  和 predictor  hθ$h_{\theta }$ 组成。我们将教师网络和学生网络的组成部分分别表示为 fθ′$f_{{\theta }^{\mathrm{\prime }}}$、gθ′$g_{{\theta }^{\mathrm{\prime }}}$  和 fθ$f_{\theta }$、gθ$g_{\theta }$、hθ$h_{\theta }$

　　IGSD 过程描述如下：

• • 首先对原始输入图 Gj$G_j$ 进行扩充，以获得增广视图 G′j$G_j^{\mathrm{\prime }}$。然后将 G′j$G_j^{\mathrm{\prime }}$ 和不同的图实例 Gi$G_i$ 分别输入到两个编码器 fθ$f_{\theta }$、fθ′$f_{{\theta }^{\mathrm{\prime }}}$ 中，用于提取图表示 h,h′=fθ(Gi),fθ′(G′j)$\mathit{h},{\mathit{h}}^{\mathrm{\prime }}=f_{\theta }\left(G_i\right),f_{{\theta }^{\mathrm{\prime }}}\left(G_j^{\mathrm{\prime }}\right)$；
  • 其次，投影头 gθ$g_{\theta }$，gθ′$g_{{\theta }^{\mathrm{\prime }}}$ 通过 z=gθ(h)=W(2)σ(W(1)h)$z=g_{\theta }(\mathit{h})=W^{(2)}\sigma \left(W^{(1)}\mathit{h}\right)$ 和 z′=gθ′(h′)=W′(2)σ(W′(1)h′)$z^{\mathrm{\prime }}=g_{{\theta }^{\mathrm{\prime }}}\left({\mathit{h}}^{\mathrm{\prime }}\right)=W^{\mathrm{\prime }(2)}\sigma \left(W^{\mathrm{\prime }(1)}{\mathit{h}}^{\mathrm{\prime }}\right)$  转换图表示 h,h′$\mathit{h},{\mathit{h}}^{\mathrm{\prime }}$ 到投影 z$z$，z′$z^{\mathrm{\prime }}$，其中 σ$\sigma$ 表示ReLU非线性；
  • 最后，为防止崩溃为一个平凡的解，在学生网络中使用预测头来获得投影 z$z$ 的预测 hθ(z)=W(2)hσ(W(1)hz)$h_{\theta }(z)=W_h^{(2)}\sigma \left(W_h^{(1)}z\right)$；

　　通过对称传递两个图实列 Gi$G_i$ 和 Gj$G_j$，可以得到总体一致性损失：

　　　　Lcon (Gi,Gj)=∥∥hθ(zi)−z′j∥∥22+∥∥hθ(z′i)−zj∥∥22(2)${\mathcal{L}}^{\text{con }}(G_i,G_j)={\Vert h_{\theta }\left(z_i\right)-z_j^{\mathrm{\prime }}\Vert }_2^2+{\Vert h_{\theta }\left(z_i^{\mathrm{\prime }}\right)-z_j\Vert }_2^2(2)$

　　在一致性损失的情况下，teacher network 提供了一个回归目标来训练 student network，在通过梯度下降更新 student network 的权值后，将其参数 θ′${\theta }^{\mathrm{\prime }}$ 更新为学生参数 θ$\theta$  的指数移动平均值(EMA)：

　　　　θ′t←τθ′t−1+(1−τ)θt(3)${\theta }_t^{\mathrm{\prime }}\leftarrow \tau {\theta }_{t-1}^{\mathrm{\prime }}+(1-\tau ){\theta }_t(3)$

2.2 Self-supervised Learning with IGSD

　　给定一组无标记图 G={Gi}Ni=1$\mathcal{G}={\left\{G_i\right\}}_{i=1}^N$，我们的目标是学习每个图 Gi∈G$G_i\in \mathcal{G}$ 的低维表示，有利于下游任务，如图分类。

　　在 IGSD 中，为了对比锚定 Gi$G_i$ 与其他图实例Gj$G_j$（即负样本），使用以下自监督的 InfoNCE 目标：

　　　　Lself-sup =−EGi∼G[logexp(−Lconi,i)exp(−Lconi,i)+∑N−1j=1Ii≠j⋅exp(−Lconi,j)]${\mathcal{L}}^{\text{self-sup }}=-{\mathbb{E}}_{G_i\sim \mathcal{G}}[\log \frac{\exp (-{\mathcal{L}}_{i,i}^{\mathrm{c}\mathrm{o}\mathrm{n}})}{\exp (-{\mathcal{L}}_{i,i}^{\mathrm{c}\mathrm{o}\mathrm{n}})+\sum _{j=1}^{N-1}{\mathbb{I}}_{i\ne j}\cdot \exp (-{\mathcal{L}}_{i,j}^{\mathrm{c}\mathrm{o}\mathrm{n}})}]$

　　其中，Lcon i,j=Lcon (Gi,Gj)${\mathcal{L}}_{i,j}^{\text{con }}={\mathcal{L}}^{\text{con }}(G_i,G_j)$ 。

　　我们通过用混合函数 Mixλ(a,b)=λ⋅a+(1−λ)⋅b${\mathrm{Mix}}_{\lambda }(a,b)=\lambda \cdot a+(1-\lambda )\cdot b$：融合潜在表示 h=fθ(G)$\mathit{h}=f_{\theta }(G)$ 和 h′=fθ′(G)${\mathit{h}}^{\mathrm{\prime }}=f_{{\theta }^{\mathrm{\prime }}}(G)$，得到图表示 h~$\tilde{\mathit{h}}$ ：

　　　　h~=Mixλ(h,h′)$\tilde{\mathit{h}}={\mathrm{Mix}}_{\lambda }(\mathit{h},{\mathit{h}}^{\mathrm{\prime }})$

2.3 Semi-supervised Learning with IGSD

　　考虑一个整个数据集 G=GL∪GU$\mathcal{G}={\mathcal{G}}_L\cup {\mathcal{G}}_U$ 由标记数据 GL={(Gi,yi)}li=1${\mathcal{G}}_L={\left\{(G_i,y_i)\right\}}_{i=1}^l$ 和未标记数据 GU={Gi}l+ui=l+1$G_U={\left\{G_i\right\}}_{i=l+1}^{l+u}$（通常 u≫l$u\gg l$ ），我们的目标是学习一个模型，可以对不可见图的图标签进行预测。生成 K$K$ 个增强视图，我们得到了 G′L={(G′k,y′k)}Klk=1${\mathcal{G}}_L^{\mathrm{\prime }}={\left\{(G_k^{\mathrm{\prime }},y_k^{\mathrm{\prime }})\right\}}_{k=1}^{Kl}$ 和 G′U={G′k}K(l+u)k=l+1${\mathcal{G}}_U^{\mathrm{\prime }}={\left\{G_k^{\mathrm{\prime }}\right\}}_{k=l+1}^{K(l+u)}$ 作为我们的训练数据。

　　为了弥合自监督的预训练和下游任务之间的差距，我们将我们的模型扩展到半监督设置。在这种情况下，可以直接插入自监督损失作为表示学习的正则化器。然而，局限于标准监督学习的实例性监督可能会导致有偏的负抽样问题。为解决这一问题，我们可以使用少量的标记数据来进一步推广相似性损失，以处理属于同一类的任意数量的正样本：

　　　　Lsupcon =∑i=1Kl1KNy′i∑j=1KlIi≠j⋅Iy′i=y′j⋅Lcon (Gi,Gj)(5)${\mathcal{L}}^{\text{supcon }}=\sum _{i=1}^{Kl}\frac{1}{K{N}_{y_i^{\mathrm{\prime }}}}\sum _{j=1}^{Kl}{\mathbb{I}}_{i\ne j}\cdot {\mathbb{I}}_{y_i^{\mathrm{\prime }}=y_j^{\mathrm{\prime }}}\cdot {\mathcal{L}}^{\text{con }}(G_i,G_j)(5)$

　　其中，Ny′i$N_{y_i^{\mathrm{\prime }}}$ 表示训练集中与锚点 i$i$ 具有相同标签 y′i$y_i^{\mathrm{\prime }}$ 的样本总数。由于IGSD的图级对比性质，我们能够缓解带有监督对比损失的有偏负抽样问题，这是至关重要的，但在大多数 context-instance 对比学习模型中无法实现，因为子图通常很难给其分配标签。此外，有了这种损失，我们就能够使用自我训练来有效地调整我们的模型，其中伪标签被迭代地分配给未标记的数据。

　　对于交叉熵或均方误差 L(GL,θ)$\mathcal{L}({\mathcal{G}}_L,\theta )$，总体目标可以总结为：

　　　　Lsemi =L(GL,θ)+wLself-sup (GL∪GU,θ)+w′Lsupcon (GL,θ)(6)${\mathcal{L}}^{\text{semi }}=\mathcal{L}(G_L,\theta )+w{\mathcal{L}}^{\text{self-sup }}({\mathcal{G}}_L\cup {\mathcal{G}}_U,\theta )+w^{\mathrm{\prime }}{\mathcal{L}}^{\text{supcon }}({\mathcal{G}}_L,\theta )(6)$

3 Experiments

节点分类

　　

　　

3 Conclusions

　　在本文中，我们提出了一种新的基于自蒸馏的图级表示学习框架IGSD。我们的框架通过对图实例的增强视图的实例识别，迭代地执行师生精馏。在自监督和半监督设置下的实验结果表明，IGSD不仅能够学习与最先进的模型竞争的表达性图表示，而且对不同的编码器和增强策略的选择也有效。在未来，我们计划将我们的框架应用到其他的图形学习任务中，并研究视图生成器的设计，以自动生成有效的视图。

 

• 论文信息
• 1 Introduction
• 2 Method
•     2.1 Iterative Graph Self-Distillation Framework
•     2.2 Self-supervised Learning with IGSD
•     2.3 Semi-supervised Learning with IGSD
• 3 Experiments
• 3 Conclusions

__EOF__