node embedding
this chapter : low-dimensional embeddings of nodes
encoder model
decoder model
The encoder maps the node u to a low-dimensional embedding z u z_u zu.
The decoder then uses z u z_u zu **to reconstruct u’s local neighborhood information.
decoder : 给一对节点嵌入打分(相似值)
similarity function : 定义节点相似值(也就是真实的相似值)
loss function : 评估decoder的结果和真实值的差异
encoder
decoder
损失函数
D :训练集
D E C ( z u , z v ) DEC(z_u, z_v) DEC(zu,zv) :uv节点相似值
S[u,v] :uv节点真实相似值
降低L的方法 :stochastic gradient decent
encoder-decoder 框架的好处 :能够基于decoder function, graph-based similarity measure和loss function简洁地定义和比较不同的嵌入方法
decoder的结果为DEC,即计算出来的节点间相似值
similarity measure为S[],表示真实的节点相似值
loss function表示计算值和真实值之间的差距
方法
similarity measure表示为从u出发经过长度为T的walk访问v节点的可能性
这是与3.2最大的区别
方法
两个方法的区别:对损失函数的计算不同
损失函数计算复杂度很高,两者都通过计算approximate equation来近似,但方法不同
DeepWalk : hierarchical softmax
node2vec : noise contrastive
基本思想:结合两个encoder-decoder的目标
第一个目标
encode first-order adjacency information
第二个目标
more similar to the random walk approaches
shallow embedding approaches