风控模型上线后并不是万事大吉,然后可以烧高香了,模型是一个经常需要迭代与更新的内容,上线新产品了,或者策略有某些改动了,都会导致批核的客群有所迁移,于是模型便需要经常性的进行开发与更新。
在评分模型指标中,最关键的指标比如分数错配,这种情况下出现的时候,模型就必须要迭代:
(这里某些分组的坏人的指标好于好人)
模型效果变差的原因原因很多,大概有以下经常出现的原因:
1)外部因素变化,例如经济环境变差导致大规模逾期,或者是政策导向发生变化(参考之前的P2P,现金贷等事件)
2)前端进件渠道发生变化,线上用户群体跟训练时差异大也可能导致模型效果下降,这个原因也会造成模型PSI不稳定
3)后端催收的影响,催收能直接影响到期样本的Y分布,可以分析下近期的催回率,听听催收部门的反馈等。
4)特征X效果下降,表现为特征的IV变低或者分布发生变化,原因可能为三方数据源的问题,或者跟前面的3点有关。
但并不是所有的变动的内容都会需要重新更新模型,某一些的变量变动只需要对这个别变量单独进行调整就好了,比如以下的变量:性别与学历——
这两个变量即使某些分组出现了交叉也可以不需要完全迭代模型,咱们此时要做的便是对模型数据的实时监控。
模型监控是个系统性内容,在部署与实施后,定期对模型的表现情况进行监控相信也是各位风控童鞋经常作业的内容。
常规上,我们可以通过计算模型稳定性指数(PSI)等指标对模型进行监控,今天我们结合往期的内容系统性的讲解模型监控的指标内容:
一.评分分布监控
报表意义:监测现行申请人群的评分分布与评分模型建立时所用人群的评分分布发生的偏移
二.变量监控(eg.年龄)
报表意义:观察分析是哪些变量的变化造成了客户群体在评分分布上的迁移
1、变量分布差距为正值,显示现行评分客户和开发样本相比,分布向高分属性偏移
2、变量分布差距为负值,显示现行评分客户和开发样本相比,分布向低分属性偏移
三.评分鉴别能力监控
报表意义:
1、报表基于已经放款的客户,在一定的表现期之后,即当坏账户有一定积累程度之后进行监控
2、反映分数段和好坏账户比的对应关系,并衡量分数和好坏账户之间的关系是否符合预期
3、在发现有任何预警的信号后,可以结合评分性稳定性报表分析排序能力下降的原因。
四.变量鉴别能力监控(eg.年龄)
报表意义:分析评分卡的某项变量在观察期是否还具有鉴别能力
占比差距=坏客户占比-好客户占比
坏客户比率=坏客户数量/(好客户数量+坏客户数量)
五.好坏客户比率监控
报表意义:
监测观察好坏账户比率是否随着评分卡的评分的升高而升高
好坏客户比率=好客户数量/坏客户数量
六.逾期分布监控
报表意义:
1、监控各分数段的逾期分布变化情况,也能对评分卡的性能做出有效衡量
2、监控评分卡根据风险程度对账户进行排序时的有效性大小,分数越高,逾期账户的比例也就越小
3、监控客户群体中逾期率的变化情况
该评分模型监控报表更全面的信息,已经上传到知识星球公众号平台,大家有兴趣学习记得上去下载研究。
关于模型的内容,有兴趣的童鞋可关注视频课程:
…
~原创文章