论文阅读10——《Adversarially regularized joint structured clustering network》

是聚类让我们“聚类”，我整理了部分深度图聚类代码，希望大家多多支持(GitHub代码)：A-Unified-Framework-for-Deep-Attribute-Graph-Clustering！❤️

原文地址：论文阅读10——《Adversarially regularized joint structured clustering network》

作者：Yachao Yang, Fujiao Ju, Yanfeng Sun, Junbin Gao, Baocai Yin

发表时间：2022年10月3日

论文地址：Adversarially regularized joint structured clustering network

创新

存在问题

作者认为之前的方法，如GAE、DAE、SDCN、IGAE等都是非正则化方法，主要采用GAE或GCN来提取图的嵌入，因此学习到的次优映射会导致隐藏嵌入无任何结构，在现实世界中处理含有噪声的图数据时容易造成性能不佳。

解决方案

1. 使用图自编码器和深度自编码器结合，构造一个对抗正则化的联合聚类网络(AJSCN)。该框架通过将DAE学到的表示传递到GAE相应层，将GAE和DAE联合在一起，以缓解过度平滑问题。
2. 通过对抗性训练方案，使GAE学习到的潜在表示与先验分布相匹配，以避免潜在空间的任何结构自由。
3. 设计一种自监督和互监督的联合监督机制，自监督学习更紧凑的表征，互监督使不同表征更加一致。

观点

1. 最经典的嵌入拓扑信息方法可以追溯到局部保持投影(LPP)和谱聚类:

   局部保持投影相关文章：

   《Enhenced and parameterless locality preserving projections for face recognition》

   《A novel process monitoring and fault detection approach based on statistics locality preserving projections》

   《Locality preserving projections》

   谱聚类相关文章：

   《Deep spectral clustering learning》

   《Large-scale spectral clustring on graphs》

   《Deep spectral clustering usign dual autoencoder network》

2. 以重建邻接矩阵为目标的方法，很大程度上忽略了节点特征的表示。

3. 自编码器可以有效地将数据通过非线性变换转化到低维空间。

模型

数据特征学习模块

该部分可以说与之前的文章(类似SDCN结构的文章)相比没有任何变化，同样是通过重建$X$来计算重建损失：
$${\mathcal{L}}_{data}=\frac{1}{2N}\Vert X-\hat{X}{\Vert }_F^2$$

对抗图嵌入模块

从上面的图可以看出，GAE部分仍然使用SDCN中GCN模块，然后通过计算嵌入表示$Z$的内积来获得重建邻接矩阵，这在之前的文章中也有同样的方法。
$${\hat{A}}_{ij}=\text{sigmoid}(Z_i^{\top }{Z}_j)$$
邻接矩阵的重建损失：
$${\mathcal{L}}_1=\sum _{i=1}^N\sum _{j=1}^N\text{loss}(A_{ij},{\hat{A}}_{ij})$$
上述体系结构是一种非正则化的嵌入方法，主要侧重于保持数据的结构，它忽略了潜在嵌入的数据分布，导致了较差的表示。从而作者添加了一个对抗性正则化来学习一个鲁棒的潜在表示。在对抗性框架中，作者将上面图中的GCN结构视为生成器$\mathcal{G}(X,A,H)$，模型图中的绿线表示一个转换操作，在GCN产生输出以后，为了获得数据的结构信息，对其进行转置操作(这个操作由于本人才疏学浅，属实没有理解其中的原理)，增强隐层的结构信息表示。
$$\hat{Z}=AZ$$
准换后的$\hat{Z}$包含更多结构信息。对于给定的潜在变量的分布，判别器$\mathcal{D}(\hat{Z})$学习判别潜在变量是来自先验分布还是图自编码器。

损失函数：
$${\mathcal{L}}_2=\underset{\mathcal{G}}{\min }\underset{\mathcal{D}}{\max }{\mathbb{E}}_{\hat{Z}\sim p(z)}[\log \mathcal{D}(\hat{Z})]+{\mathbb{E}}_{X\sim p(X)}[\log (1-\mathcal{D}(\mathcal{G}(X,A,H)))]$$
为了获得更好的图嵌入，在一个统一的框架中联合优化GAE和对抗性正则化，损失函数如下：
$${\mathcal{L}}_{adv}={\alpha }_1{\mathcal{L}}_1+{\alpha }_2{\mathcal{L}}_2$$

联合监督模块

该部分包括两个机制：自监督机制和互监督机制。

通过学生$t$分布分别计算$H$和$Z$的目标分布$Q_H$和$Q_Z$，以及辅助分布$P_H$和$P_Z$。

优化H的损失函数：
$${\mathcal{L}}_3=KL(P_H\Vert Q_H)=\sum _i\sum _j{P}_{h|ij}\cdot \log \frac{P_{h|ij}}{Q_{h|ij}}$$
类似地，优化$Z$的损失函数：
$${\mathcal{L}}_4=KL(P_Z\Vert Q_Z)=\sum _i\sum _j{P}_{z|ij}\cdot \log \frac{P_{z|ij}}{Q_{z|ij}}$$
然后使用互监督机制，用$P_H$监督$Q_Z$，使$H$和$Z$在训练过程中趋于一致：
$${\mathcal{L}}_5=KL(P_H\Vert Q_Z)=\sum _i\sum _j{P}_{h|ij}\cdot \log \frac{P_{h|ij}}{Q_{z|ij}}$$
总的聚类损失：
$${\mathcal{L}}_{clu}={\mathcal{L}}_3+{\alpha }_3{\mathcal{L}}_4+{\alpha }_4{\mathcal{L}}_5$$
总的损失函数：
$${\mathcal{L}}_{loss}={\mathcal{L}}_{data}+{\mathcal{L}}_{adv}+{\mathcal{L}}_{clu}$$
与其他文章中不同的是，该方法将自编码器的目标分布$Q_H$作为聚类结果，取其中最大的一个概率的索引作为该类的标签。
$$r_i=\arg \underset{j}{\max }{Q}_{h|ij}$$

实验

伪代码

实验结果

结果分析

1. 基于AE算法的性能由于基于GCN的算法，因为KNN图不能准确地描述样本之间的关系。

结论

作者提出了一种新的对抗正则化联合结构聚类网络(AJSCN)。 为了避免嵌入的自由结构，它被强制遵循一个先验分布。 对于聚类任务，构造了一个联合监督机制，其中包括学习更紧密表示的自我监督和使不同表示趋于一致的相互监督。