码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 一文看懂推荐系统:排序03:预估分数融合


    一文看懂推荐系统:排序03:预估分数融合

    提示:最近系统性地学习推荐系统的课程。我们以小红书的场景为例,讲工业界的推荐系统。
    我只讲工业界实际有用的技术。说实话,工业界的技术远远领先学术界,在公开渠道看到的书、论文跟工业界的实践有很大的gap,
    看书学不到推荐系统的关键技术。
    看书学不到推荐系统的关键技术。
    看书学不到推荐系统的关键技术。

    王树森娓娓道来**《小红书的推荐系统》**
    GitHub资料连接:http://wangshusen.github.io/
    B站视频合集:https://space.bilibili.com/1369507485/channel/seriesdetail?sid=2249610

    基础知识:
    【1】一文看懂推荐系统:概要01:推荐系统的基本概念
    【2】一文看懂推荐系统:概要02:推荐系统的链路,从召回粗排,到精排,到重排,最终推荐展示给用户
    【3】一文看懂推荐系统:召回01:基于物品的协同过滤(ItemCF),item-based Collaboration Filter的核心思想与推荐过程
    【4】一文看懂推荐系统:召回02:Swing 模型,和itemCF很相似,区别在于计算相似度的方法不一样
    【5】一文看懂推荐系统:召回03:基于用户的协同过滤(UserCF),要计算用户之间的相似度
    【6】一文看懂推荐系统:召回04:离散特征处理,one-hot编码和embedding特征嵌入
    【7】一文看懂推荐系统:召回05:矩阵补充、最近邻查找,工业界基本不用了,但是有助于理解双塔模型
    【8】一文看懂推荐系统:召回06:双塔模型——模型结构、训练方法,召回模型是后期融合特征,排序模型是前期融合特征
    【9】一文看懂推荐系统:召回07:双塔模型——正负样本的选择,召回的目的是区分感兴趣和不感兴趣的,精排是区分感兴趣和非常感兴趣的
    【10】一文看懂推荐系统:召回08:双塔模型——线上服务需要离线存物品向量、模型更新分为全量更新和增量更新
    【11】一文看懂推荐系统:召回09:地理位置召回、作者召回、缓存召回
    【12】一文看懂推荐系统:排序01:多目标模型
    【13】一文看懂推荐系统:排序02:Multi-gate Mixture-of-Experts (MMoE)


    提示:文章目录

    文章目录

    • 一文看懂推荐系统:排序03:预估分数融合
    • 预估分数融合
    • 抖一抖短视频的融分公式完全和常规不同
    • 国内某电商的容分公式
    • 总结


    预估分数融合

    前几节讲了多目标排序模型,

    多目标模型输出对点击率、点赞率等指标的预估,

    这节讲怎样去融合多个预估分数,

    最简单的分数融合方法就是求各种预估值的加权和
    在这里插入图片描述

    这第1项p click意思是模型预估的点击率,它的权重是一,
    这第2项p like是模型预估的点赞率,它的权重是W1,
    后面还有很多项,包括预估的收藏率、转发率、评论率等等。

    这是另一种简单的容分公式,
    在这里插入图片描述

    括号外面是点击率的预估,括号里面是很多项的加权和。

    这个公式有实际意义
    p click乘以一
    就是预估的点击率p click
    p click乘以p like意思是曝光之后用户点赞的概率,
    为什么?
    在这里插入图片描述

    P click是曝光之后用户点击的概率。
    P like是点击进去之后,用户在点赞的概率,
    两者相乘就是曝光之后用户点赞的概率。

    这里讲的两种融合公式都很简单,在工业界都挺常用。
    海外某短视频APP用这样的融分公式
    在这里插入图片描述

    跟前面讲的加权和有些区别。
    p time的意思是预估短视频的观看时长,比如预测用户会观看十秒,
    整个这一项是一加上w1乘以p time再取alpha1次方。
    这里的W1和alpha1都是超参数,需要手动调现场做ab测试,选出合适超参数,

    这第2项类似是对点赞率的函数变换,用了不同的超参数,有很多个预估指标,做函数变换,得到很多项,
    把它们取连成作为最终的融合份数。

    抖一抖短视频的融分公式完全和常规不同

    国内某个老铁的抖一抖视频APP的融分公式很有意思,跟前面介绍的几种方法完全不一样。
    在这里插入图片描述

    其中标排序模型给N个候选视频打分,得到预估的播放时长、点击率、点赞率、转发率等指标。

    以预估时长p time为例,暂且只用p time这一个分数对N个候选视频做排序,
    如果某个视频的排名是r time,
    则它的分数为一除以r time的alpha1次方 加Beta
    公式里的alph和Beta都是需要调的超参数。
    很显然,预估的播放时长越长,排名就越靠前,R time就越小,最终得分就越高,

    上面按照预估的播放时长做排序,得到一个分数。
    如果按照预估的点击率做排序,会得到另一个分数,
    由点击,点赞,转发,评论等很多指标,那么一个视频会有很多排名,
    每一个排名变成一个分数,对所有这些分数求加权和,就是最终的融合分数。
    这个融分公式跟前几种都不太一样,

    这里不是直接用预估的分数,而是用每个公式中的r time, r click, r like是某篇笔记的三个排名,
    分别是按照预估时长、预估点击率和预估点赞率做排序,得到的分数,

    国内某电商的容分公式

    在这里插入图片描述

    电商的转化流程是这样的,曝光、点击、加购物车,最后是付款模型。

    要预估中间每一步的转化率,包括从曝光到点击,从点击到加购物车,从加购物车到付款,上面那个是最终的容分公式。

    把预估的点击率加购物车率付款率、物品价格都乘起来,
    指数阿尔法一到阿尔法4是超参数需要调。
    假如阿尔法一到,阿尔法四都等于一,
    那么这个公式就是电商的营收有很明确的物理意义——即成交价格

    这节简要介绍了工业界排序的几种融分公式,加权、排序加权、转化率连乘等


    总结

    提示:如何系统地学习推荐系统,本系列文章可以帮到你

    (1)找工作投简历的话,你要将招聘单位的岗位需求和你的研究方向和工作内容对应起来,这样才能契合公司招聘需求,否则它直接把简历给你挂了
    (2)你到底是要进公司做推荐系统方向?还是纯cv方向?还是NLP方向?还是语音方向?还是深度学习机器学习技术中台?还是硬件?还是前端开发?后端开发?测试开发?产品?人力?行政?这些你不可能啥都会,你需要找准一个方向,自己有积累,才能去投递,否则面试官跟你聊什么呢?
    (3)今日推荐系统学习经验:这节简要介绍了工业界排序的几种融分公式,加权、排序加权、转化率连乘等

  • 相关阅读:
    oracle数据库的缓存设置
    首个零售金融大模型落地,驱动金融业数字化进阶
    An overview of IfM Engage
    vue2给对象新增、删除属性,界面不刷新 。通过数组下标修改数组界面不会刷新
    【1993. 树上的操作】
    ChinaSoft 论坛巡礼 | 安全攸关软件的智能化开发方法论坛
    Nodejs实现图片加水印 【使用jimp】
    数据结构与算法-二叉树的遍历
    《安富莱嵌入式周报》第277期:业界首款Cortex-M55+Ethos-U55 NPU套件发布,20个墨水屏菊花链玩法,氙气灯镇流器设计
    计组_cpu的结构和工作流程
  • 原文地址:https://blog.csdn.net/weixin_46838716/article/details/126459303
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号