论文《How to Learn Item Representation for Cold-Start Multimedia Recommendation》阅读

今天简要介绍一下ACM MM 2020的多模态推荐模型 MTPR，文章名称《How to Learn Item Representation for Cold-Start Multimedia Recommendation》，由中科大何向南老师组完成，旨在解决面向多模态推荐背景下冷启动问题。

论文概况

本文模型相对简单，考虑主动将物品向量分成两部分，一部分表示interaction，一部分表示feature，冷启动物品由于没有过interaction，所以直接将两个向量拼接完成预测就会不准确（因为在训练阶段冷启动用户的interaction embedding做全0处理 ）。

作者的做法就是把embeding分成两部分，直接将物品的interaction embedding赋零表示无交互，然后使用多任务同时训练，完成 MTPR（Multi-Task Pairwise Ranking）。

作者从反事实思维（Counterfactual Thinking）角度出发，思考物品向量变为冷启动物品会如何影响推荐模型性能表现。

方法论

整个模型相对简单，就是在原来一个物品一个embedding的基础上，将embedding分成两个，一个标准向量（normal representation），表示为 ${\mathbf{q}}_i^N$ ；一个反事实向量（counterfactural representation），表示为 ${\mathbf{q}}_i^C$ 。

嵌入层

用户向量表示为 ${\mathbf{p}}_u$，损失函数使用BPR损失。

具体来说，针对每个物品，使用两部分拼接的形式表示，前一部分是 ${\mathbf{e}}_i$ ，后一部分是 ${\mathbf{c}}_i$，分别表示 interaction 和 multimodal feature。

$${\mathbf{q}}_i^N={\mathbf{e}}_i\Vert {\mathbf{c}}_i$$

$${\mathbf{q}}_i^C=0\Vert {\mathbf{c}}_i$$

${\mathbf{q}}_i^C$ 的意思就是我直接赋零，保持在feature上的一致性。

预测层

正例有一个N，一个C；反例有一个N，一个C。和用户向量进行组合得到4个预测结果，分别如下：

y ^ u i N = ϕ ( p u o , q i N ) , y ^ u i C = ϕ ( p u o , q i C ) , y ^ u j N = ϕ ( p u o , q j N ) , y ^ u j C = ϕ ( p u o , q j C ) .

y^​uiN​y^​uiC​y^​ujN​y^​ujC​​=ϕ(puo​,qiN​),=ϕ(puo​,qiC​),=ϕ(puo​,qjN​),=ϕ(puo​,qjC​).​

正例、负例两两组合得到四个损失函数，对应四个任务，分别如下：

L N N ( u , i , j ) = − ln ⁡ σ ( y ^ u i N − y ^ u j N ) , L C C ( u , i , j ) = − ln ⁡ σ ( y ^ u i C − y ^ u j C ) , L N C ( u , i , j ) = − ln ⁡ σ ( y ^ u i N − y ^ u j C ) , L C N ( u , i , j ) = − ln ⁡ σ ( y ^ u i C − y ^ u j N ) .

LNN​(u,i,j)LCC​(u,i,j)LNC​(u,i,j)LCN​(u,i,j)​=−lnσ(y^​uiN​−y^​ujN​),=−lnσ(y^​uiC​−y^​ujC​),=−lnσ(y^​uiN​−y^​ujC​),=−lnσ(y^​uiC​−y^​ujN​).​