什么是图神经网络

当这两种技术融合在一起时，就可以创造出一些新颖、奇妙的东西——比如手机和浏览器融合在一起，产生了智能手机。

如今，科研人员正在将人工智能发现模式的能力应用于存储各种数据点之间关系信息的大型图数据库。与此同时，就产生了一种强大的新工具，称为图形神经网络。

什么是图神经网络？

图神经网络将深度学习的预测能力应用于丰富的数据结构上，这些数据结构将对象及对象之间的关系描述为图形中由线连接的点。

在GNN中，数据点被称为节点，连接这些点的线被称为边，将上述概念使用数学元素进行表达，机器学习算法就可以在节点、边或整个图的层次上做出有用的预测。

GNN能做什么？

越来越多的公司正在应用GNN来进行药物研发、欺诈检测和推荐系统。这些应用程序都需要查找数据点之间的关系模式。

研究人员正在探索GNN在计算机图形学、网络安全、基因组学和材料科学中的应用。最近的一篇论文报道了GNN如何使用交通地图作为图来改进对到达时间的预测。

许多科学和工业分支已经将有价值的数据存储在图数据库中。通过深度学习，他们可以训练预测模型，从图中挖掘出新的见解。

 

AWS高级首席科学家乔治·卡皮斯（George Karypis）在今年早些时候的一次演讲中表示：“GNN是深度学习研究中最热门的领域之一，我们看到越来越多的应用程序利用GNN来提高其性能。”。

其他人也同意。斯坦福大学副教授朱尔·莱斯科维奇（Jure Leskovec）在最近的一次演讲中表示，GNN“因其对复杂关系建模的灵活性而备受关注，这是传统神经网络无法做到的。”。

 

谁在使用GNN？

亚马逊在2017年报告了其在欺诈检测中对于GNN的应用。2020年，它推出了一项公共GNN服务，其他人可以将其用于欺诈检测、推荐系统和其他应用。

为了保持客户的高度信任，亚马逊搜索使用GNN来检测恶意卖家、买家和产品。使用NVIDIA GPU，它能够探索具有数千万个节点和数亿条边的图形，同时将训练时间从24小时减少到5小时。

生物制药公司GSK工智能全球负责人金·布兰森（Kim Branson）在GNN研讨会的一个小组上表示，该公司维护着一个包含近5000亿个节点的知识图谱，这些节点用于其许多机器语言模型。

LinkedIn的高级软件工程师Jaewon Yang在研讨会上的另一个小组上表示，LinkedIn使用GNN进行社交推荐，并探索人们的技能与职位之间的关系。

GNN是如何工作的？

到目前为止，深度学习主要关注图像和文本，他们可以描述成词序列或像素网格的结构化数据。相比之下，图是非结构化的。它们可以采用任何形状或大小，并包含任何类型的数据，包括图像和文本。

GNN使用一个称为消息传递的过程来组织图，以便机器学习算法可以使用它们。

消息传递将有关其邻居的信息嵌入到每个节点中。人工智能模型利用嵌入的信息来发现潜在模式并做出预测。

 

 

例如，推荐系统使用一种节点嵌入的形式来匹配客户和产品。欺诈检测系统使用边缘嵌入来发现可疑交易，药物发现模型比较整个分子图以找出它们之间的反应。

GNN有两个独特的特性：它们使用稀疏数学，模型通常只有两到三层。其他人工智能模型通常使用密集数学，并具有数百个神经网络层。

 

GNN的历史

一个意大利研究人员于2009年发表的一篇论文首次定义图神经网络。但阿姆斯特丹的两名研究人员花了八年时间才用一种称为图卷积网络（GCN）的变体展示了他们的能力，并成为当今最流行的GNN之一。

GCN的工作启发了莱斯科维奇和他的两名斯坦福研究生，以此创建了GraphSage，这是一个GNN，展示了消息传递功能的新工作方式。他于2017年夏天在Pinterest进行了测试，并担任首席科学家。

 

他们的实现：PinSage是一个推荐系统，它包含了30亿个节点和180亿个边缘，性能超过当时的其他人工智能模型。

与此同时，出现了其他变体和混合体，包括图递归网络和图注意力网络。GAT借鉴了transformer模型中定义的注意力机制，帮助GNN专注于最感兴趣的数据集部分。

 

 

Scaling Graph Neural Networks

展望未来，GNN需要在所有维度上进行扩展。

尚未维护图数据库的组织需要工具来简化创建这些复杂数据结构的工作。

使用图数据库的人知道，在某些情况下，他们正在迅速增长，在单个节点或边缘上嵌入了数千个特征。这带来了数据存储和传输的挑战。

伊顿表示：“我们提供的产品最大限度地提高了系统的内存、计算带宽和吞吐量，以解决数据加载和扩展问题。”。

作为这项工作的一部分，NVIDIA在GTC上宣布，除了深度图库（DGL）之外，它现在还支持PyTorch Geometric（PyG）。这是两个最流行的GNN软件框架。