【GCN-RS】MCL: Mixed-Centric Loss for Collaborative Filtering (WWW‘22)

MCL: Mixed-Centric Loss for Collaborative Filtering (WWW’22)

Pointwise和pairwise损失函数挖掘的信息太少了，只是采样样本，然后更新权重

为了从可用的偏好信息中挖掘更多的信号，考虑了难样本和全局信息。

先采集难样本

$E$是欧式距离。

难正样本是指正样本的距离比 距离最小的负样本的距离减阈值 还要大的样本。
$$E_{uj}>\underset{k\in N_u}{\min }{E}_{uk}-ϵ$$
难负样本是指负样本的距离比 距离最大的正样本的距离加阈值 还要小的样本。
$$E_{uk}<\underset{j\in P_u}{\max }{E}_{uj}+ϵ$$

混合中心loss (CML)

采集得到的正负样本集合分别为：${\mathrm{P}}_{\mathrm{u}}^{\mathrm{s}},{\mathrm{N}}_{\mathrm{u}}^{\mathrm{s}}$。在训练过程中，给定一个batch B（包含m个用户），定义损失函数：
L M C L = 1 α log ⁡ [ 1 + 1 m ∑ u ∈ B ∑ j ∈ P u s e α ( E u j + λ p ) ] + 1 β log ⁡ [ 1 + 1 m ∑ u ∈ B ∑ k ∈ N u s e − β ( E u k + λ n ) ]

LMCL​​=α1​log⎣ ⎡​1+m1​u∈B∑​j∈Pus​∑​eα(Euj​+λp​)⎦ ⎤​+β1​log⎣ ⎡​1+m1​u∈B∑​k∈Nus​∑​e−β(Euk​+λn​)⎦ ⎤​​
解释为什么设计这个loss，这个loss对于一对正样本的影响：
∂ L ∂ E u j = w u j + = 1 m ⋅ e α E u j e − α λ p + 1 m ∑ u ′ ∈ B ∑ i ∈ P u ′ s e α E u ′ i = 1 m ⋅ 1 w 1 + ( u , j ) + w 2 + ( u , j ) + w 3 + ( u , j )

∂L∂Euj=wuj+=1m⋅eαEuje−αλp+1m∑u′∈B∑i∈Pu′seαEu′i=1m⋅1w1+(u,j)+w2+(u,j)+w3+(u,j)" role="presentation" style="position: relative;">∂L∂Euj=w+uj=1m⋅eαEuje−αλp+1m∑u′∈B∑i∈Psu′eαEu′i=1m⋅1w+1(u,j)+w+2(u,j)+w+3(u,j)$$\begin{array}{rl}\frac{\mathrm{\partial }L}{\mathrm{\partial }{E}_{uj}}=w_{uj}^{+}& =\frac{1}{m}\cdot \frac{e^{\alpha E_{uj}}}{e^{-\alpha {\lambda }_p+\frac{1}{m}}\sum _{u^{\mathrm{\prime }}\in B}\sum _{i\in P_{u^{\mathrm{\prime }}}^s}{e}^{\alpha E_{u^{\mathrm{\prime }}i}}}\\ & =\frac{1}{m}\cdot \frac{1}{w_1^{+}(u,j)+w_2^{+}(u,j)+w_3^{+}(u,j)}\end{array}$$

∂Euj​∂L​=wuj+​​=m1​⋅e−αλp​+m1​∑u′∈B​∑i∈Pu′s​​eαEu′i​eαEuj​​=m1​⋅w1+​(u,j)+w2+​(u,j)+w3+​(u,j)1​​

• 用户-物品中心（$w_1^{+}$）:仅和用户-物品的距离有关，越远$w_1$越小，loss越大。
• 同类型中心（$w_2^{+}$）：计算当前正样本物品 $j$与用户其他正难样本之间的关系。如果正样本物品 $j$与用户的距离比其他难正样本的距离更大，则$w_1$越小，loss越大。这类似于对物品embedding空间加一个约束，希望相同类型物品与用户的距离相似（在embedding空间，同一个用户交互过的物品，围绕在用户附近。）
• 同批次中心（$w_3^{+}$）：和同一个batch中的其他用户进行对比，提供了跨用户的额外一致性，希望每个用户和其正样本的距离都相同。