• Graph Representation Learning学习笔记-chapter3


    Chapter3 Neighborhood Reconstruction Methods

    node embedding

    • 把节点编码为低维向量-表征graph structure和local graph neighborhood structure

    this chapter : low-dimensional embeddings of nodes

    3.1 An Encoder-Decoder Perspective

    encoder model

    • 图→低维嵌入矩阵

    decoder model

    • 嵌入矩阵→重构节点邻居信息

    请添加图片描述

    The encoder maps the node u to a low-dimensional embedding z u z_u zu.
    The decoder then uses z u z_u zu **to reconstruct u’s local neighborhood information.

    decoder : 给一对节点嵌入打分(相似值)

    similarity function : 定义节点相似值(也就是真实的相似值)

    loss function : 评估decoder的结果和真实值的差异

    encoder

    • shallow embedding methods

    decoder

    • pairwise decoders : 预测一对节点间关系/相似性

    损失函数

    请添加图片描述

    D :训练集
    D E C ( z u , z v ) DEC(z_u, z_v) DEC(zu,zv) :uv节点相似值
    S[u,v] :uv节点真实相似值

    降低L的方法 :stochastic gradient decent

    encoder-decoder 框架的好处 :能够基于decoder function, graph-based similarity measure和loss function简洁地定义和比较不同的嵌入方法

    请添加图片描述

    3.2 Factorization-based approaches

    decoder的结果为DEC,即计算出来的节点间相似值
    similarity measure为S[],表示真实的节点相似值
    loss function表示计算值和真实值之间的差距

    方法

    • Laplacian eigenmaps
    • Graph Factorization
    • GraRep
    • HOPE

    3.3 Random walk embeddings

    similarity measure表示为从u出发经过长度为T的walk访问v节点的可能性
    这是与3.2最大的区别

    方法

    • DeepWalk
    • node2vec

    两个方法的区别:对损失函数的计算不同
    损失函数计算复杂度很高,两者都通过计算approximate equation来近似,但方法不同
    DeepWalk : hierarchical softmax
    node2vec : noise contrastive

    Large-scale information network embedings(LINE)

    基本思想:结合两个encoder-decoder的目标

    第一个目标

    encode first-order adjacency information

    • decoder:

    请添加图片描述

    • similarity measure:
      • an adjacency-based similarity measure
      • i.e., S[u, v] = A[u, v]

    第二个目标

    more similar to the random walk approaches

    • decoder
      • 使用KL-divergence训练来encode two-hop邻接信息

    请添加图片描述

    shallow embedding approaches

    • 为图中每个节点训练一个独特的嵌入
    • 缺点
      • 节点间不共享数据-导致统计和计算低效
      • 没有利用节点特征
      • 只能为可见节点进行嵌入
        • 除非特殊优化,否则不能学习不可见节点的嵌入
  • 相关阅读:
    “蔚来杯“2022牛客暑期多校训练营2 DGHJKL题解
    理财和银保区别
    80W美团架构师整理分享出了Spring5企业级开发实战文档
    java 版本企业招标投标管理系统源码+多个行业+tbms+及时准确+全程电子化
    Spring 系列(二):Spring MVC的父子容器
    广域确定性网络技术概述
    flutter开发实战-StreamBuilder使用介绍及实例
    【微服务】springboot 整合 dubbo3.0
    APS在模具行业的实践运用与效益
    Java反序列化和JNDI注入
  • 原文地址:https://blog.csdn.net/qq_45347768/article/details/127460323