【推荐系统】ESMM：一种有效估算后点击转换率的方法

全空间多任务模型：一种有效估算后点击转换率的方法 《Entire Space Multi-Task Modal：An Effective Approach for Estimating Post-Click Conversion Rate》

论文地址：Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate

一、简介

​ $\text{CVR}$预测是在线广告、推荐系统等工业应用中排名系统的一项重要任务。例如，在$\text{OCPC}$广告中使用的$\text{pCVR}$来调整每次点击的bid价格，从而实现平台和广告主的双赢。这也是推荐系统中平衡用户点击偏好和购买偏好的重要因素。

​ 在本文中，主要专注在$\text{post-click CVR}$估计中。为了简化讨论，这里使用电商推荐系统中的$\text{CVR}$作为例子。给定推荐的物品，用户可能会点击感兴趣的其中一个，并进一步买其中的一个。换句话说，用户的行为遵循下面的模式：曝光(impression)→点击(click)→转化(conversion)。在这种方式中，$\text{CVR}$建模是指预估post-click转化率的任务，即$\text{pCVR}=p(conversion|click,impression)$。

​ 一般来说，传统的$\text{CVR}$建模方法会使用与$\text{CTR}$预测任务类似的技术。然而，存在一些任务相关的问题，使得$\text{CVR}$建模存在挑战。在这些问题中，这里主要介绍在真实实践中遇到的两个主要问题：(1) 样本选择偏差$\text{(sample selection bias,SSB)}$。如上图所示，传统的$\text{CVR}$模型会在点击的曝光数据上训练，但是训练好的模型会被用于在所有曝光样本的全空间中进行推断。$\text{SSB}$问题伤害了训练模型的泛化效果；(2) 数据稀疏$\text{(data sparsity,DS)}$问题。在实践中，训练$\text{CVR}$模型的数据通常少于$\text{CTR}$任务。训练数据的稀疏性使得$\text{CVR}$模型拟合更加的困难。

​ 在本文中，通过利用用户行为的序列模式，作者提出了一个称为$\text{ESMM(Entire Space Multi-task Model)}$的新方法，其能够同时解决$\text{SSB}$和$\text{DS}$问题。在$\text{ESMM}$中，引入了$\text{post-view CTR}$和$\text{post-view CTCVR}$两个辅助任务。相比于在点击曝光数据上直接训练$\text{CVR}$模型，$\text{ESMM}$模型将$\text{pCVR}$看作是与$\text{pCTR}$相乘等于$\text{pCTCVR}$的中间变量。由于$\text{pCTCVR}$和$\text{pCTR}$都是在所有曝光样本的完整空间上估计得到的，因此推导出的$\text{pCVR}$也适用于整个空间，$\text{SSB}$问题可以被解决。此外，$\text{CVR}$网络的特征表示参数与$\text{CTR}$网络共享。后者在更丰富的样本上训练。这种类型的参数迁移学习有助于缓解$\text{DS}$问题。

​ 对于本文，作者搜集了淘宝推荐系统的流量日志。整个数据集有89亿具有序列标签的点击和转化样本组成。通过仔细的实验，$\text{ESMM}$始终优于其他模型，这也表明了提出方法的有效性。

二、方法

1. Notation

​ 假设观察到的数据集为$\mathcal{S}=\{({\text{x}}_i,y_i\to z_i){\}}_{i=1}^N$，样本$(\text{x},y\to z)$是从具有域$\mathcal{X}\times \mathcal{Y}\times \mathcal{Z}$的分布$D$中采样得到的，其中$\mathcal{X}$是特征空间，$\mathcal{Y}$和$\mathcal{Z}$是标签空间，$N$是曝光的总数量。$\text{x}$表示曝光的特征向量，其通常是具有多filed的高维稀疏向量，例如：用户field、商品field等。$y$和$z$是二进制标签，$y=1$或者$z=1$分别表示点击或者转换事件发生。$y\to z$揭示了点击和转化标签的序列依赖，转化事件始终在点击事件的基础上。

​ $\text{CVR}$建模是为了估计概率$\text{pCVR}=p(z=1|y=1,\text{x})$。两个相关的概率$\text{pCTR}=p(z=1|\text{x})$和$\text{pCTCVR}=p(y=1,z=1|\text{x})$。给定曝光$\text{x}$，这三个概率的关系如下：
$$p(y=1,z=1|\text{x})=p(y=1|\text{x})\times p(z=1|y=1,\text{x})\text{\hspace{1em}(1)}$$

2. $\text{CVR}$建模与挑战

​ 基于深度学习的$\text{CVR}$建模实现了state-of-the-art。大多数的模型都类似于$\text{Embedding\&MLP}$网络架构。上图左边展示了这种架构，为了简单起见，将其称为$\text{BASE}$模型。

​ 传统的$\text{CVR}$建模方法会直接估计$p(z=1|y=1,\text{x})$。其会使用点击的曝光数据来训练模型，即${\mathcal{S}}_c=\{({\text{x}}_j,z_j)|y_j=1{\}}_{j=1}^M$。$M$是所有曝光的点击数量。显然，${\mathcal{S}}_c$是$\mathcal{S}$的子集。在${\mathcal{S}}_c$中(点击过的)曝光但未转化被当做负样本，曝光且转化被当做正样本。在实践中，$\text{CVR}$建模会遇到一些任务相关的问题。

• 样本选择偏差$\text{(Sample selection bias, SSB)}$

  事实上，传统$\text{CVR}$建模通过引入辅助特征空间${\mathcal{X}}_c$来完成近似：$p(z=1|y=1,\text{x})\approx q(z=1|{\text{x}}_c)$。${\mathcal{X}}_c$表示与${\mathcal{S}}_c$相关联的有效空间。$\forall {\text{x}}_c\in {\mathcal{X}}_c$，存在一个样本对$(\text{x}={\text{x}}_c,y_{\text{x}}=1)$，其中$\text{x}\in \mathcal{X}$且$y_{\text{x}}$是$\text{x}$的点击标签。$q(z=1|{\text{x}}_c)$是在空间${\mathcal{X}}_c$上训练的。在推理阶段，在完整空间$\mathcal{X}$的预测$p(z=1|y=1,\text{x})$被计算为$q(z=1|\text{x})$，其基于的假设为：对于任意$(\text{x},y_{\text{x}}=1)$，其中$\text{x}\in \mathcal{X}$，$\text{x}$属于${\mathcal{X}}_c$。这个假设大概率是不成立的，因为${\mathcal{X}}_c$仅是完整空间$\mathcal{X}$的一小部分。此外，空间${\mathcal{X}}_c$可能与$\mathcal{X}$非常的不同。这会使训练样本的分布与真实的分布产生偏差，从而伤害$\text{CVR}$建模的泛化性能。

• 数据稀疏$\text{(Data sparsity, DS)}$

  传统的$\text{CVR}$建模方法是在点击样本${\mathcal{S}}_c$上训练的。由于点击事件发生的很少，从而导致$\text{CVR}$建模的训练数据非常的稀疏。直觉上，其通常会比相关联的$\text{CTR}$任务小1-3个数量级。在本文的实验数据中，$\text{CVR}$任务的样本数量仅是$\text{CTR}$任务的4%。

​ $\text{CVR}$建模也存在着其他的挑战，例如：delayed feedback。本文并不关注该问题。一个原因是在作者的系统中，转换延期的程度是可接收的。另一个原因是本文的方法也可以合并先前的工作来解决这个问题。

3. $\text{ESMM}$

​ $\text{ESMM}$如上图所示，其很好的利用了用户行为的序列模型。借鉴了多任务学习的思想，$\text{ESMM}$引入了$\text{CVR}$和$\text{CTCVR}$两个辅助任务，并且解决了$\text{CVR}$建模中前面提及的问题。

​ 总的来说，$\text{ESMM}$同时输出$\text{pCTR}$、$\text{pCVR}$和$\text{pCTCVR}$。该模型主要是由两个子网络组成：上图中左半部分的$\text{CVR}$网络和右半部分的$\text{CTR}$网络。$\text{CVR}$和$\text{CTR}$网络均采用与$\text{BASE}$模型相同的结构。$\text{CTCVR}$则是$\text{CVR}$和$\text{CTR}$网络输出的乘积。$\text{ESMM}$在$\text{CVR}$建模中有一些显著的优点以及与传统方法的区别。

• 全空间上建模

  等式(1)可以转化为
  $$p(z=1|y=1,\text{x})=\frac{p(y=1,z=1|\text{x})}{p(y=1|\text{x})}\text{\hspace{1em}(2)}$$
  其中$p(y=1,z=1|\text{x})$和$p(y=1|\text{x})$是在数据集$\mathcal{S}$上建模的。等式(2)说明估计$\text{pCTCVR}$和$\text{pCTR}$，推导出的$\text{pCVR}$是在完整数据空间$\mathcal{X}$上的，其能够直接解决样本选择偏差问题。用单独的模型来分别估计$\text{pCTR}$和$\text{pCTCVR}$，并根据等式(2)获得$\text{pCVR}$似乎很容易。然而，实际上$\text{pCTR}$是一个很小的数值，除以该值会引起数值不稳定。$\text{ESMM}$使用乘法的形式来避免这个问题。在$\text{ESMM}$中，$\text{pCVR}$仅是一个受等式(1)约束的中间变量。$\text{pCTR}$和$\text{pCTCVR}$是$\text{ESMM}$在完整空间中估计的主要因子。采用乘法的形式能够使三个关联的、共同训练的估计器来利用数据的序列模式，并在训练过程中彼此进行信息沟通。此外，其能够确保估计的$\text{pCVR}$位于区间$[0,1]$，而使用除的方法可能会超过1。

  ​ $\text{ESMM}$的损失函数如等式(3)所示。其是由$\text{CTR}$和$\text{CTCVR}$两个任务的损失函数组成，没有使用$\text{CVR}$任务的损失函数。
  KaTeX parse error: Expected 'EOF', got '&' at position 30: …},\theta_{ctr})&̲=\sum_{i=1}^N l…
  其中${\theta }_{ctr}$和${\theta }_{cvr}$是$\text{CTR}$和$\text{CVR}$网络的参数，$l(\cdot )$是交叉熵损失函数。等式(3)将$y\to z$分解为两部分：$y$和$y\&z$，其实际上利用了点击和转化标签的损失依赖关系。

• 特征表示迁移

  embedding层将大规模的稀疏输入映射至低维表示空间，其占用了整个深度网络参数量的大部分，并且需要大量的训练样本进行学习。在$\text{ESMM}$中，$\text{CVR}$网络的嵌入词典与$\text{CTR}$网络共享，其遵循特征表示迁移学习范式。$\text{CTR}$任务的训练样本相对于$\text{CVR}$要丰富的多。这种参数共享机制能够使$\text{ESMM}$中的$\text{CVR}$网络从未点击的曝光数据中学习，为缓解数据稀疏问题提供了很大的帮助。$\text{ESMM}$的子网络可以用一些最近开发的模型替代，可能会获得更好的表现。

三、实验