YouTubeDNN排序模型为什么预测的是观看时长？

引言

YouTubeDNN的排序模型在训练和推理阶段的目标是存在差异的，一个是输出加权LR，一个是输出幂，哪一个和宣称的用于预期观看时长都是不一致的，理论而言应该直接输出标量预测值比较合适。本文将尽量简单的介绍为什么这样做是合理的。

推导

推理阶段的输出是？

 首先我们知道LR的输出是:
$$p=\frac{1}{1+e^{wx+b}}$$
代指了我们要预测的概率输出值，而根据数学推导有：
$$e^{wx+b}=\frac{p}{1-p}$$
那么如果模型训练的足够好的话，那么推理阶段的输出应当为$\frac{p}{1-p}$(标准称呼为$Odds$)，也就是两个概率的比值，那么接下来只需要证明这两个概率的比值有观看时长的意义即可。

加权LR

 实际YouTubeDNN使用的weighted LR, 加权的意义是说当模型接收了正点击样本的输入时，输出$p$是加权点击率而非普通的点击率。普通点击率计算公式为所有展示样本中，用户点击的频次：
$$p^{\prime }=\frac{k}{N}$$
而加权点击率计算公式，总的观看时长除以分母，为：
$$p=\frac{{\sum }_{i\in 点击}{T}_i}{{\sum }_{i\in 点击}{T}_i+(N-k)}$$
令总观看时长为$T$,那么化简可以得到:
$$\frac{p}{1-p}=\frac{T}{N-k}=\frac{T}{N}\ast \frac{1}{1-\frac{k}{N}}=\frac{E(T_i)}{1-p^{\prime }}$$
又用户点击的频次非常少，分母约等于0，所以$\frac{p}{1-p}\approx E(T_i)$。
那么$e^{wx+b}=E(T_i)$

参考

经典推荐算法学习（十）| Youtube DNN serving目标解析 | 从odds到Logit 、Logistic Regression
揭开YouTube深度推荐系统模型Serving之谜