【GNN Panel】图神经网络及其在结构建模中的应用

1、简介

讨论GNN在结构建模中的应用

2、议题

Panel嘉宾

• 高弘扬 (Iowa State University)
• 白璐 (中央财经大学)
• 严骏驰 (上海交通大学)
• 杨旭 (西安电子科技大学)

Panel议题

1. 图神经网络与CNN以及Transformer的关系是什么？有没有一种可能对这些模型进行统一？

高弘扬：

        GNN在聚合时，与邻居不改动的话是fixed固定非shared的；CNN是trained且shared；但是Transformer是计算的。统一的话应该是比较难的

白璐：

        GNN（邻接矩阵，共享同一个W，相当于1*1卷积核）与CNN（卷积核，用的是不同的权重）区别在于邻居信息抽取聚合方式，如何统一这块就是找其对应关系；Transformer用来提升GNN性能是肯定可以的，如用来取代邻接矩阵（因为邻接矩阵聚合信息时权重一样，trans可以解决；同时trans可以捕获远端甚至不相连节点信息。但是之前图结构稀疏，用trans变成全连接图，但是计算效率下降）。如何平衡这块应该确实是一个挑战

严骏驰：

        CNN到GNN就是结构化数据到非规则化拓扑结构，从非欧空间扩散系统角度去学习

杨旭：

        GNN和CNN原理类似，但是数据操作有区别；Trans计算复杂度高，效率和计算之间的平衡之后是考虑的一大点

2. 图神经网络在计算机视觉和机器学习中有哪些典型的应用场景？

高弘扬：

        能源方面如太阳能、物联网

白璐：

        药物分析；交通拥堵

严骏驰：

        图像匹配（纹理信息，几何信息）；图论优化问题

杨旭：

        深度聚类问题（无监督学习，利用图模型优势解决谱聚类问题）；场景图识别（感知物体的关联关系）；3D点云识别（离散3D重建和识别）

3. 视觉和机器学习中诸多问题 (聚类、匹配等)都可以表示成图优化问题，图神经网络在优化方面的技术优势和最新进展如何？

严骏驰：

        GNN将图结构嵌入到图节点特征学习中，目前大多是节点分类，在优化方面认为图是离散的有很多约束，如pointgnn，也有加上惩罚约束项来解决；另外并行计算也是未来的方向

4. 在GNN的理论研究中，有很多学者关注深度GNN的设计。那么在实际应用中，有没有必要构建深度图神经网络模型？深度GNN的优势在哪里？如何取舍深层的 GNN 网络会导致过度平滑 的问题？

高弘扬：

        效率很低，且面临过拟合问题。但是加入trans或者残差连接或者数据特征增强上会有些用

白璐：

        过平滑是先天性带来的，解法：限制非必要信息聚合；子结构信息聚合

严骏驰：

        过平滑是模型容量不足，可以在模型容量上入手

杨旭：

       持怀疑态度，目前解法实际效果微弱，很难构建深度有效模型

5. 目前主流的GNN通常假设输入图结构是完整的正确的，对于图结构不完美（低质量数据，图结构缺失）的场景，GNN的这一假设会带来怎样的负面影响，有什么有效可行的解决思路？

高弘扬：

        imblance问题

严骏驰：

       少标签鲁棒模型；多图信息整合的embedding学习     

6. 往往假设图结构是给定存在的，如何在开放场景去研究图的构建和建模，进一步解决相关问题？

高弘扬：

        图结构就是feature和connection这两种关系，预训练/域适应引入

严骏驰：

        这是个长期全局学习问题，无论如何建模学习，学习均有限，可以通过图匹配进行全局学习；跨模态学习（各种图，如KG）

杨旭：

        首先学习节点特征，其次构建节点间关系（节点间相似性，但是复杂图上不够），最后图优化（自己构建的图不一定正确，有噪声啥的）

3、参考

20220810【图神经网络及其在结构建模中的应用】Panel_哔哩哔哩_bilibili

严骏驰副教授，上海交通大学，ICDIP 2022_哔哩哔哩_bilibili

【演讲】时序与结构数据的精细化建模及其AI应用by严骏驰_DeeCamp_中文字幕_哔哩哔哩_bilibili

公益AI讲座：张伟楠、严骏驰、屠可伟老师为你的科研之路答疑解惑——20200218_哔哩哔哩_bilibili

SJTU-ThinkLab 上海交通大学深思实验室