深入浅出图神经网络【阅读笔记】

主要内容

• 基础篇：
  1 图的概述
  2 神经网络基础
  3 卷积神经网络
  4 表示学习

• 高级篇
  5 图信号处理与图卷积神经网络
  6 GCN的性质
  7 GNN的变体与框架
  8 图分类
  9 基于GNN的图表示学习

• 应用篇
  10 GNN的应用简介

【基础篇】

【主要看GNN部分的内容，无关部分先跳过，后面再看…】

1. 图的概述

数学中的图论 数据结构中的图 数据科学中的图 —> 图数据任务：化学分子 社交网络

1.1 图的基本定义

1. 图的基本类型

有向图 + 无向图
非加权图 + 加权图
连通图 + 非连通图 (是否有点孤立)
二部图

2. 邻居和度

邻居 入度 出度

3. 子图与路径

1. 子图 ： G（V,E）是另外一个图的一部分
2. 路径（通路）：
   路径长度：边的数目
   顶点距离：d(vi,vj) = min(|Pij|) 最短路径
   k阶邻居： d(vi，vj) = k
   k阶子图：也称为k-hop

1.2 图的存储与遍历

1. 邻接矩阵和关联矩阵
2. 图的遍历

DFS + BFS

1.3 图数据的应用场景

1. 同构图 ： 比如万维网
2. 异构图 ： 节点种类或者边种类多于一种
3. 属性图 ： 每个节点和边有标签和属性信息
4. 非显式图 ： 比如3D点云数据，进一步转换
   

1.4 图数据的深度学习

引言：
谱图理论 – 谱聚类算法 — 图像分割
统计关系学习 – 打破iid条件
异构信息网络 – 挖掘结构信息和语义信息

发展关键词：表示学习和端到端的学习

发展历史：

1. 2005年 首次提出GNN，原先讲图变成向量表示，会丢失结构信息。
2. 2009年，监督的学习方法训练GNN，迭代的方式进行，RNN网络传播邻居信息，耗时。
3. 2012年，2013年首次将卷积引入图神经网络中，基于频域卷积操作的概念开发了一种图卷积网络模型。但是基于频域卷积的方法在计算时需要同时处理整个图， 并且需要承担矩阵分解时的很高的时间复杂度， 这很难使学习系统扩展到大规模图数据的学习任务上去， 所以基于空域的图卷积被提出并逐渐流行。【频域卷积】
4. 2016年， 将频域图卷积的定义进行简化， 使得图卷积的操作能够在空域进行， 这极大地提升了图卷积模型的计算效率， 同时， 得益于卷积滤波的高效性， 图卷积模型在多项图数据相关的任务上取得了令人瞩目的成绩。【空域卷积】
5. 各种变体，遍地开花，统称为GNN，自此【图数据与深度学习进行了结合，实现端到端学习】

任务分类：

1. 节点层面的任务
   分类任务 + 回归任务，
   【恶意账户检测、用户标签分类】
2. 边层面的任务
   边的分类是指对边的某种性质进行预测；边预测是指给定的两个节点之间是否会构成边。
   【用户推荐、用户关注边建模】
3. 图层面的任务
   图层面的任务不依赖于某个节点或者某条边的属性， 而是从图的整体结构出发， 实现分类、 表示和生成等任务。
   【药物分类、酶分类】

2. 神经网络基础

2.1 机器学习基本概念

1. 机器学习分类
   训练角度：监督学习 + 无监督学习 + 半监督学习
   输出角度 : 分类问题 + 回归问题

2. 机器学习流程概述
   特征工程 + 模型 + 损失函数 + 优化求解、模型参数获取

3. 损失函数
   平方损失 + 交叉熵损失

4. 梯度下降算法

2.2 神经网络

1. 神经元

2. 多层感知机

2.3 激活函数

1. S型
   sigmoid tanh
2. ReLU型
   ReLU + LeakyReLU + PReLU、ELU
   

2.4 训练神经网络

1. 神经网络运行过程
2. 反向传播
3. 优化困境

• 梯度消失
• 局部最优与鞍点
  模型强非线性，参数维度高，损失函数虽然凸，但是损失函数与参数之间的关系是非凸的、

3. 卷积神经网络

图像 + 视频分析领域，图像分类、目标检测、图像分割等任务。

3.1 卷积和池化

1. 信号处理中的卷积

• 图像中的卷积
• 卷积的意义

2. 深度学习中的卷积操作

• 单通道卷积
• 多通道卷积

3. 池化

• 平均池化
• 最大池化
• …

3.2 卷积神经网络

1. 卷积神经网络的结构
2. 卷积神经网络的特点

• 局部连接
• 权值共享
• 层次化表达

3.3 特殊的卷积

1. 1x1卷积
2. 转置卷积
3. 空洞卷积
4. 分组卷积
5. 深度可分离卷积

3.4 应用

1. VGG
2. Inception系列
3. ResNet

4. 表示学习

4.1 表示学习

1. 表示学习的意义
   
2. 离散表示与分布式表示

离散：独热向量编码，one-hot 汉字表示, 稀疏，计算困难，各对象独立 ，没办法衡量两者之间的距离。
分布式表示 : RGB颜色表示，稠密，可以衡量颜色之间的距离。比如余弦相似度。

3. 端到端的表示学习
   

4.2 基于重构损失的方法-自编码器

1. 欠完备自编码器 ： 编码维度小于输入维度
2. 过完备自编码器： 编码维度大于等于输入维度
3. 去噪自编码器：
   
4. 稀疏自编码器：
   
5. 变分自编码器
   【重点】

4.3 基于对比损失的方法-word2vec

CBow :通过某个词上下文预测中心词
Skip-gram ： 通过某个中心词预测上下文

【高级篇】

这里主要关注图的空域的推导！！！ 频域不用感兴趣研究即可，目前大多的新方法都是基于空域视角提出的。

5. 图信号处理与图卷积神经网络

5.1 矩阵乘法的三种方式

1. 内积视角
2. 行向量视角
3. 列向量视角
   

5.2 图信号与图的拉普拉斯矩阵

---

知识补充:
公式推导需要认真看，确实难顶，推荐看 阿泽的学习笔记里面对于GCN的引出，各方面容易理解点，然后再看书。

---

（1）理解图的拉普拉斯矩：https://zhuanlan.zhihu.com/p/362416124

1. 拉普拉斯算子：
   二阶非混合偏导之和(连续) -> 离散情况 -> 图像
2. 图的邻接矩阵与加权度矩阵：
3. 拉普拉斯矩阵

（2）阿泽的学习笔记：https://blog.csdn.net/qq_27075943/category_10030485.html
【强推】

5.3 图傅里叶变换

5.4 图滤波器

1. 空域角度
2. 频域角度

5.5 图卷积神经网络

5.6 GCN实战

6. GCN的性质

6.1 GCN与CNN的联系

1. 图像是一种特殊的图数据
2. 从网络连接方式来看，二者都是局部连接
3. 二者卷积核的权重是处处共享的
4. 从模型的层面看，感受与随着卷积层的增大而变大

6.2 GCN能够对图数据进行端到端的学习

1. 基于手工特征的方法
2. 基于随机游走的方法
3. 基于GCN的方法

6.3 GCN是一个低通滤波器

6.4 GCN的问题-过平滑

7. GNN的变体与框架

8. 图分类

9. 基于GNN的图表示学习

【应用篇】

10. GNN的应用简介

10.1 GNN的应用简述

GNN三个显著的能力：

1. 图数据的拟合能力 ： 蛋白质结构预测
   2）强大的推理能力 ： 视觉问答、实体关系推理
   3） GNN与知识图谱结合： …

10.2 GNN的应用案例

10.2.1 3D视觉

点云数据同图数据一样， 是一种非规则结构的数据， 点与点之间的排列也没有顺序，这导致在视觉领域取得巨大成功的卷积网络无法直接复制到点云数据的处理中来， 不过与
图数据的相似性也启发了GNN模型在其中的应用。

GNN用于点云数据之前：

• 转换为体元，三维规则结构
• 将点云转为多视图，许多虚拟快照， 会丢失很多结构信息

有了GNN之后：

10.2.2 基于设计奥网络的推荐系统

10.2.3 视觉推理

10.3 GNN的未来展望

---

待更新补充