• 计算通过率逾期率并绘制通过率逾期率曲线

    在信贷领域AUC&KS指标能提现模型的学习效果，但是在评估模型的相对好坏，以及制定使用方案的时候还是需要通过率&逾期率曲线进行评估模型的。

    横坐标为累计通过率，纵坐标为累计逾期率，此时比较相同的通过率情况下，逾期率越高，曲线位置就越靠近上方。

    1、可以理解曲线下的面积越小越好，跟AUC曲线是相反的逻辑。

    2、要看细节部分，在某个局部区间通过率下是否局部更好，是否可以交叉使用

    3、是否整个曲线都是缠绕的，如果是的话，考虑选择AUC评估指标吧。

    本文代码分为两个部分

    首先计算通过率&逾期率指标，然后绘制通过率逾期率曲线。

    1. # 简化版的通过率逾期率
    2. def get_pass_and_overdue_with_list(pred_result_and_real_label: List[Tuple[float, float]]) -> Tuple[List, List]:
    3.     """
    4.     输入预测概率和实际label，输出通过率和逾期率序列
    5.     pred_result_and_real_label = data[['ruleset_111_mexico_loan_xgboost_score','first1_overdue3']].values.tolist()
    6.     :param pred_result_and_real_label: 包含预测概率和实际label的元组组成的列表，注意元组的第一个元素为预测概率
    7.     :return: 通过率和逾期率序列
    8.     """
    9.     # 按照元组中的第一个元素，也就是预测值进行升序排列，可变对象已更改
    10.     pred_result_and_real_label.sort(key=lambda x: x[0])
    11.  
    12.     # 获取序列的长度
    13.     the_length = len(pred_result_and_real_label)
    14.     print(f"the_length {the_length} ")
    15.     # pass_rate
    16.     pass_rate = []
    17.     # overdue_rate
    18.     overdue_rate = []
    19.  
    20.     # 遍历过程中每个节点的总逾期数目
    21.     overdue_sum = 0.0
    22.  
    23.     for i in range(the_length):
    24.         # 实时计算通过率并保存
    25.         pass_rate.append((i + 1.0) / the_length)
    26.         # 实时计算总逾期数目
    27.         overdue_sum += pred_result_and_real_label[i][1]
    28.         # 使用实时计算的总逾期数目计算当前在总样本上的逾期率并保存
    29.         overdue_rate.append(overdue_sum / (i + 1.0))
    30.     return pass_rate, overdue_rate
    31.  
    32.  
    33. def get_auc_ks(data, prob_col='prob', label_col='overdue'):
    34.     """
    35.     :param data:
    36.     :param prob_col:
    37.     :param label_col:
    38.     :return:
    39.     """
    40.     from sklearn.metrics import roc_curve, auc
    41.     fpr, tpr, thresholds = roc_curve(data[label_col], data[prob_col])
    42.     auc_value = auc(fpr, tpr)
    43.     ks = max(tpr - fpr)
    44.     return auc_value, ks
    45.  
    46.  
    47. def get_pass_and_overdue_by_dataframe(data, prob_col='prob', label_col='overdue', float_round=5):
    48.     """
    50.     :param data:
    51.     :param prob_col:
    52.     :param label_col:
    53.     :param float_round:
    54.     :return:
    55.     """
    56.     from tqdm import tqdm
    57.     data[prob_col] = data[prob_col].apply(lambda x: float(str(x)[0:float_round]))
    58.     data.sort_values(by=prob_col, ascending=True, inplace=True)
    59.  
    60.     data['flag'] = 1
    61.     data_agg = data.groupby(prob_col).agg({'flag': 'sum', label_col: 'sum'})
    62.     data_agg.reset_index(drop=False, inplace=True)
    63.     probs = list(set(data_agg[prob_col]))
    64.     probs.sort()
    65.     ttl_cnt = data.shape[0]
    66.  
    67.     pass_rats = []
    68.     overdue_rats = []
    69.     for prob_ in tqdm(probs):
    70.         pass_rat = data_agg[data_agg[prob_col] <= prob_]['flag'].sum() / ttl_cnt
    71.         pass_rats.append(pass_rat)
    72.  
    73.         cum_overdue = data_agg[data_agg[prob_col] <= prob_][label_col].sum()
    74.         overdue_rat = cum_overdue / data[data[prob_col] <= prob_].shape[0]
    75.         overdue_rats.append(overdue_rat)
    76.     return pass_rats, overdue_rats
    77.  
    78. def get_auc_ks_pass_overdue_rat(data, prob_col='prob', label_col='overdue', float_round=5, plot=False):
    79.     """
    81.     :param data:
    82.     :param prob_col:
    83.     :param label_col:
    84.     :param float_round:
    85.     :param plot:
    86.     :return:
    87.     """
    88.     print(f'get_auc_ks_pass_overdue_rat prob_col:{prob_col} label_col:{label_col}')
    89.     data = data[[prob_col, label_col]].copy()
    90.     num = data.shape[0]
    91.     auc_value, ks = get_auc_ks(data, prob_col=prob_col, label_col=label_col)
    92.     pass_rats, overdue_rats = get_pass_and_overdue_by_dataframe(data, prob_col=prob_col, label_col=label_col,
    93.                                                                 float_round=float_round)
    94.     if plot == True:
    95.         plt.figure(figsize=(6, 6))
    96.         # 开始画图 modes_metrics oot_dstx_num,oot_zcfl_num
    97.         plt.title(f'{label_col}|num:{num}')
    98.         plt.plot(pass_rats, overdue_rats, color='green', label=f'auc:{auc_value:.4f}_ks:{ks:.4f}')
    99.         plt.legend()  # 显示图例
    100.         plt.xlabel('pass_rat')
    101.         plt.ylabel('cum_overdue')
    102.         plt.grid()
    103.         plt.show()
    104.     return auc_value, ks, pass_rats, overdue_rats, num
    105.  
    106.  
    107. def get_auc_ks_pass_overdue_rat_with_data_type(train_data
    108.                                                , data_type='data_type'
    109.                                                , dstx='dstx'
    110.                                                , zcfl='zcfl'
    111.                                                , prob_col='prob'
    112.                                                , label_col='overdue'
    113.                                                , float_round=5
    114.                                                , plot=False):
    115.     """
    116.     计算正常分流&大赦天下的模型指标
    117.     :param train_data: dataframe
    118.     :param data_type: dstx&zcfl
    119.     :param dstx: dstx的标记
    120.     :param zcfl: zcfl的标记
    121.     :param prob_col: 预测概率值列
    122.     :param label_col: 标签列
    123.     :param float_round: 保留精度
    124.     :param plot: 是否绘制通过预期曲线
    125.     :return:
    126.     """
    127.     data = train_data[train_data[data_type] == dstx][[prob_col, label_col]].copy()
    128.     oot_dstx_auc_value, oot_dstx_ks, oot_dstx_pass_rats, oot_dstx_overdue_rats, oot_dstx_num = get_auc_ks_pass_overdue_rat(
    129.           data\
    130.         , prob_col=prob_col\
    131.         , label_col=label_col\
    132.         , float_round=5\
    133.         , plot=False)
    134.  
    135.     data = train_data[train_data[data_type] == zcfl][[prob_col, label_col]].copy()
    136.     oot_zcfl_auc_value, oot_zcfl_ks, oot_zcfl_pass_rats, oot_zcfl_overdue_rats, oot_zcfl_num = get_auc_ks_pass_overdue_rat(
    137.         data \
    138.         , prob_col=prob_col \
    139.         , label_col=label_col \
    140.         , float_round=5 \
    141.         , plot=False)
    142.  
    143.     if plot:
    144.         fig, axs = plt.subplots(2, 1)
    145.         plt.rcParams['figure.figsize'] = (9, 12.0)
    146.         axs[0].plot(oot_dstx_pass_rats, oot_dstx_overdue_rats)
    147.         axs[0].set_ylim(0, 0.5)
    148.         axs[0].set_xlim(0, 1)
    149.         axs[0].set_title(f'oot dstx nocv fpd3|num:{oot_dstx_num}')
    150.         axs[0].set_xlabel('pass_rat')
    151.         axs[0].set_ylabel('cum_overdue')  # ,fontproperties = font
    152.         axs[0].grid(True)
    153.         axs[0].legend(["auc:%.4f ks:%.4f" % (oot_dstx_auc_value, oot_dstx_ks)], loc="lower left")
    154.  
    155.         axs[1].plot(oot_zcfl_pass_rats, oot_zcfl_overdue_rats)
    156.         axs[1].set_ylim(0, 0.5)
    157.         axs[1].set_xlim(0, 1)
    158.         axs[1].set_title(f'oot zcfl nocv fpd3|num:{oot_zcfl_num}')
    159.  
    160.         axs[1].set_xlabel('pass_rat')
    161.         axs[1].set_ylabel('cum_overdue')  # ,fontproperties = font
    162.         axs[1].grid(True)
    163.  
    164.         axs[1].legend(["auc:%.4f ks:%.4f" % (oot_zcfl_auc_value, oot_zcfl_ks)], loc="lower left")
    165.  
    166.     return oot_dstx_auc_value, oot_dstx_ks, oot_dstx_pass_rats, oot_dstx_overdue_rats, oot_dstx_num, \
    167.            oot_zcfl_auc_value, oot_zcfl_ks, oot_zcfl_pass_rats, oot_zcfl_overdue_rats, oot_zcfl_num

    绘制通过率逾期率曲线

    def plot_dstx_zcfl_pass_overdue(modes_metrics, label='fpd3', line_desc=None,
                                    colors=['skyblue', 'green', 'blue', 'y', 'r']):
        """
        一张图绘制两个子图，分别绘制zcfl & dstx的通过率逾期率
        :param modes_metrics: each row contains oot_dstx_auc_value, oot_dstx_ks, oot_dstx_pass_rats,  oot_dstx_overdue_rats,
         oot_dstx_num, oot_zcfl_auc_value, oot_zcfl_ks, oot_zcfl_pass_rats, oot_zcfl_overdue_rats, oot_zcfl_num
        :param label: overdue label
        :param line_desc: 图例描述
        :param colors: 图例颜色
        :return: None
        """
        import matplotlib.font_manager as fm
        font_size=12
        # 设置family、size 
        font = fm.FontProperties(fname='/data/simhei.ttf', size=font_size)
        plt.rcParams['figure.figsize'] = (9, 12.0)
        fig, axs = plt.subplots(2, 1)
        if line_desc is None:
            line_desc = ['']*len(modes_metrics)
            
        for i in range(len(modes_metrics)):
            oot_dstx_auc_value, oot_dstx_ks, oot_dstx_pass_rats, oot_dstx_overdue_rats, oot_dstx_num = modes_metrics[i][0:5]
            axs[0].plot(oot_dstx_pass_rats, oot_dstx_overdue_rats, color=colors[i],
                        label=f'auc:{oot_dstx_auc_value:.4f}|ks:{oot_dstx_ks:.4f}_{line_desc[i]}' )
        axs[0].set_ylim(0, 0.4)
        axs[0].set_xlim(0, 1)
        axs[0].set_title(f'oot dstx nocv {label}|num:{oot_dstx_num}')
        axs[0].set_xlabel('pass_rat')
        axs[0].set_ylabel('cum_overdue', fontproperties=font)
        axs[0].legend(loc="lower right",prop=font)  # 显示图例
        axs[0].grid(True)

        for i in range(len(modes_metrics)):
            oot_dstx_auc_value, oot_dstx_ks, oot_dstx_pass_rats, oot_dstx_overdue_rats, oot_dstx_num = modes_metrics[i][5:]
            axs[1].plot(oot_dstx_pass_rats, oot_dstx_overdue_rats, color=colors[i],
                        label=f'auc:{oot_dstx_auc_value:.4f}|ks:{oot_dstx_ks:.4f}_{line_desc[i]}' )
        axs[1].set_ylim(0, 0.4)
        axs[1].set_xlim(0, 1)
        axs[1].set_title(f'oot zcfl nocv {label}|num:{oot_dstx_num}')
        axs[1].set_xlabel('pass_rat')
        axs[1].set_ylabel('cum_overdue' , fontproperties = font)
        axs[1].legend(loc="lower right",prop=font)  # 显示图例
        axs[1].grid(True)
     

     绘图结果如上图

  • 相关阅读:
    Neo4j数据库（二）
    Halcon Variable Inspect 安装失败
    springboot整合redis
    2核4G游戏服务器推荐(阿里云/腾讯云/华为云)
    house of storm+堆SROP+orw
    堆叠注入 [GYCTF2020]Blacklist1
    4.2冰达机器人：视觉实例-机器人视觉循线、视觉实例-调整循线颜色
    估算总体标准差的极差均值估计法sigma = R/d2
    简易基本MyBatis语句书写模板-续更中
    windows和linux中Nginx常用命令
  • 原文地址：https://blog.csdn.net/mtj66/article/details/127686302