WWW2022|京东提出变分embedding学习框架VELF解决CTR预估冷启动问题

Alleviating Cold-start Problem in CTR Prediction with A Variational Embedding Learning Framework

Xiaoxiao Xu, Chen Yang, Qian Yu, Zhiwei Fang, Jiaxing Wang, Chaosheng Fan, Yang He, Changping Peng, Zhangang Lin, Jingping Shao 

JD.com

https://arxiv.org/pdf/2201.10980v1.pdf

这篇文章提出一种通用变分embedding学习框架，VELF，用来缓解CTR预估中严重的冷启动问题。

VELF通过缓解由数据稀疏引起的过拟合，进而解决冷启动问题，主要借助两种方法来实现，一是学习概率embedding，二是融入可训练和正则的先验知识，充分利用冷启动用户和广告的丰富side 信息。这两种方法可以自然融入变分推理框架，形成一种端到端的训练流程。

大量实验表明作者们所提VELF的优势。此外，拓展实验表明，参数化和正则化先验相对传统固定先验具有更多的泛化能力。

冷启动主要原因有两个，广告和用户的长尾分布，新用户以及新广告。

CTR预估中基于embedding和神经网络的范式结构图示如下

这篇文章的主要贡献如下

现有的解决冷启动问题的方法有基于内容的方法和元学习方法

但容易过拟合。

符号约定如下

变分推理简介如下

点估计相对分布估计处理冷启动的能力较弱

整体框架图示如下

作者们在以下数据集上进行了实验

训练集及测试集划分方式如下

特征及测试集构建方式如下

数据集信息统计如下

参数设置如下

作者们采用了以下指标

几种方法的效果对比如下

VELF作为一个模块对几种主流算法的影响如下

消融实验结果如下

实验环境如下

---

              我是分割线

---

您可能感兴趣

KDD2021|因果模型在实时竞价重复曝光次数中的应用

雅虎联合阿里提出转化率预估实用框架并用于在线展示广告

IJCAI2020|京东联合香港理工提出基于点击校准的注意力模型用于时延归因转化率预估

WSDM2022|阿里联合中科院提出特征协同作用网络CAN用于点击率预估(已开源)

WSDM2022|阿里提出合约广告自适应统一分配框架AUAF(已开源)

ICDM2019|阿里提出大规模个性化分发实时平滑算法并用于合约展示广告

微软提出实时竞价算法并用于效果展示广告分配

淘宝展示广告中的优化点击成本算法

在线定向广告中的预算控制算法

KDD2021|清华联合雅虎|斯坦福大学|纽约大学提出竞价隐藏算法MEOW

在线广告中的平滑预算控制实时竞价优化算法

KDD2021|雅虎提出高效深层分布网络竞价策略用于一阶广告拍卖竞价隐藏

KDD2021|华为联合上交提出CTR预估数值特征embedding学习框架AutoDis(已开源)

KDD2021|腾讯联合中科院北航提出人群扩展算法MetaHeac并用于推荐和广告领域(已开源)

KDD2020|阿里提出多目标优化保量算法并用于优酷视频服务平台

KDD2020|腾讯联合中科大提出请求级别保量广告计划RAP