【CTR排序】多任务学习之MMOE模型

学习总结

• 常见的多任务模型有三种范式：
  • hard parameter sharing：底部有shared bottom，然后上层用全连接层分别学习特定任务模式，但是当两个任务相关性没那么好(比如排序中的点击率与互动，点击与停留时长)，共用一套shared bottem参数的效果就可能没这么好了。
  • soft parameter sharing: 这个范式对应的结果从MOE->MMOE->PLE等。没有shared bottom，而是有不同权重的不同专家tower进行组合预测。
  • 任务序列依赖关系建模：如ESSM，DBMTL，ESSM2等都是属于该范式。这种适合于不同任务之间有一定的序列依赖关系。比如电商场景里面的ctr和cvr，其中cvr这个行为只有在点击之后才会发生。所以这种依赖关系如果能加以利用，可以解决任务预估中的样本选择偏差(SSB)和数据稀疏性(DS)问题
    • 样本选择偏差: 后一阶段的模型基于上一阶段采样后的样本子集训练，但最终在全样本空间进行推理，带来严重泛化性问题
    • 样本稀疏： 后一阶段的模型训练样本远小于前一阶段任务
• MOE混合专家模型的几个思想：bagging模型集成思想、注意力机制（不同专家的决策地位不同）、multi-head机制（多个专家即多个head，代表了不同的非线性空间）。
• Multi-gate Mixture-of-Experts(MMOE)的魅力就在于在MOE的基础上，对于每个任务都会涉及一个门控网络，这样，对于每个特定的任务，都能有一组对应的专家组合去进行预测。