FeSoG论文笔记

1 动机

• 冷启动问题：融合社交信息；
• 图神经网络：从用户-项目交互中学习到编码信息；
• 联邦学习：隐私保护

面临的问题及解决思路：

• 异构性：用户-项目交互的评分信息 + 社交网络（用户-用户之间的关系），FeSoG利用关系注意力机制和信息聚合来处理异构性；
• 个性化：FeSoG使用本地数据推断用户嵌入以保留个性化；
• 隐私保护：FeSoG采用带项目抽样的伪标记技术来保护隐私并增强训练。

2 相关工作

3 主要算法（自顶向下分析）

步骤如下：

• 用户对项目的预测评分 = 用户的编码 * 项目的编码
  $${\hat{\mathbf{R}}}_{ut}={\mathbf{e}}_u^{\ast }\cdot {\mathbf{e}}_t\text{\hspace{1em}(1)}$$
• 用户编码 = 用户自己的编码 + 朋友对用户的描述 + 用户偏好（通过用户购买过的商品进行刻画）
  $${\mathbf{e}}_{u_n}^{\ast }={\gamma }_s{\mathbf{e}}_{u_n}+{\gamma }_u{\mathbf{h}}_u^{(n)}+{\gamma }_t{\mathbf{h}}_t^{(n)}\text{\hspace{1em}(2)}$$
  – ${\mathbf{e}}_{u_n}$：用户自己$u_n$的编码；
  – ${\mathbf{h}}_u$：朋友对用户的描述的编码；
  – ${\mathbf{h}}_t$：用户偏好的编码。
  注意:${\mathbf{e}}_u^{\ast }和{\mathbf{e}}_{u_n}^{\ast }应该表示的是同一个东西，本文作者符号系统有点乱。$
• 朋友对用户的描述 = 用户所有朋友编码${\mathbf{e}}_{u_p}$的加权和；用户偏好 = 用户购买过的商品编码${\mathbf{e}}_{t_k}$的加权和
  $${\mathbf{h}}_u^{(n)}=\sum _{p=1}^P{\alpha }_{np}{\mathbf{W}}_h{\mathbf{e}}_{u_p},{\mathbf{h}}_t^{(n)}=\sum _{k=1}^K{\beta }_{nk}{\mathbf{W}}_h{\mathbf{e}}_{t_k}\text{\hspace{1em}(3)}$$
  – ${\alpha }_{np}$：利用$o_{np}=\mathrm{LeakyReLU}\left({\mathbf{a}}^{\top }\left[{\mathbf{W}}_1{\mathbf{e}}_{u_n}\Vert {\mathbf{W}}_1{\mathbf{e}}_{u_p}\right]\right)$ 和${\alpha }_{np}={\mathrm{softmax}}_p\left(o_{np}\right)=\frac{\exp \left(o_{np}\right)}{{\sum }_{i=1}^P\exp \left(o_{ni}\right)}$，获得用户和朋友之间的关系紧密程度；
  – ${\mathbf{W}}_h$：${\mathbf{W}}_h\in {\mathbb{R}}^{d\times d}$一个线性映射权重矩阵；
  – ${\mathbf{e}}_{u_p}$：用户朋友$u_p$的编码；
  – ${\beta }_{nk}$：利用$v_{nk}=\mathrm{LeakyReLU}\left({\mathbf{b}}^{\top }\left[{\mathbf{W}}_2{\mathbf{e}}_{u_n}\Vert {\mathbf{W}}_2{\mathbf{e}}_{i_k}\right]\right)$和${\beta }_{nk}=\mathrm{softmax}{}_k\left(v_{nk}\right)=\frac{\exp \left(v_{ni}\right)}{{\sum }_{i=1}^K\exp \left(v_{ni}\right)}$，获得用户购买过的商品对用户偏好的描述度；
  – ${\mathbf{e}}_{t_k}$：用户购买过的商品$t_k$的编码。
• 计算用户自身的注意力权重${\gamma }_s$，朋友的注意力权重${\gamma }_u$，用户购买过的商品的注意力权重${\gamma }_t$
  $$\begin{array}{l}{\gamma }_s=\frac{\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_s^{(n)}\Vert {\mathbf{v}}_s\right]\right)}{\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_u^{(n)}\Vert {\mathbf{v}}_u\right]\right)+\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_t^{(n)}\Vert {\mathbf{v}}_t\right]\right)+\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_s^{(n)}\Vert {\mathbf{v}}_s\right]\right)},\\ {\gamma }_u=\frac{\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_u^{(n)}\Vert {\mathbf{v}}_u\right]\right)}{\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_u^{(n)}\Vert {\mathbf{v}}_u\right]\right)+\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_t^{(n)}\Vert {\mathbf{v}}_t\right]\right)+\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_s^{(n)}\Vert {\mathbf{v}}_s\right]\right)},\\ {\gamma }_t=\frac{\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_t^{(n)}\Vert {\mathbf{v}}_t\right]\right)}{\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_u^{(n)}\Vert {\mathbf{v}}_u\right]\right)+\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_t^{(n)}\Vert {\mathbf{v}}_t\right]\right)+\exp \left({\mathbf{c}}^{\top }\left[{\mathbf{h}}_s^{(n)}\Vert {\mathbf{v}}_s\right]\right)}.\end{array}\text{\hspace{1em}(4)}$$
  – 注意这个步骤引入了三个新的变量$v_s,v_u,v_t$，具体原因作者是这样解释的：The general aggregation process is illustrated in Figure 2(b). Intuitively, we should aggregate hidden embeddings and the center node embedding to infer the embedding of $u_n$. However, social relation, user-item interactions and center node embedding are not equally contributed to the learning process [61]. We should also handle the heterogeneity during the aggregation step. Therefore, we propose to use three relation vectors to preserve their semantics, i.e., $v_s,v_u,v_t\in \mathbb{R}$ preserving the social semantics, user-item semantics and center node itself semantics respectively. 作者认为用户自己、用户的朋友及用户购买过的商品在聚合过程中贡献并不相同，所以引入了三个新的变量来保存它们的语义，以处理在聚合过程中的异构性。
  

4 讨论

有什么改进的思路呢？

参考文献

[1] Federated Social Recommendation with Graph Neural Network
[2] 源代码：https://github.com/YangLiangwei/FeSoG