机器学习评估指标（Metrics）

Metrics提供以下语言的各种监督机器学习评估指标的实现：

• Python easy_install ml_metrics
• R install.packages("Metrics") from the R prompt
• Haskell cabal install Metrics
• MATLAB / Octave (clone the repo & run setup from the MATLAB command line)

有关更详细的安装说明，请参阅每个实现的 README。

评估指标

 

TO IMPLEMENT

• F1 score （F1分数）
• Multiclass log loss
• Lift
• Average Precision for binary classification（二进制分类的平均精度）
• precision / recall break-even point（精度/召回盈亏平衡点）
• cross-entropy（交叉熵）
• True Pos / False Pos / True Neg / False Neg rates
• precision / recall / sensitivity / specificity（精度率/召回率/灵敏度/特异性）
• mutual information

要处理的更高级别的转换

• GroupBy / 减少
• 对单个样本或组进行加权

属性指标可以有

（非详尽无遗，将在未来添加）

• 最小值或最大值（通过最小化或最大化进行优化）
• 二进制分类
  • 分数预测的类标签
  • 分数预测排名（最有可能在一个班级中最不可能）
  • 得分预测概率
• 多类分类
  • 分数预测的类标签
  • 得分预测概率
• 回归
• 离散评分者比较（混淆矩阵）

Sklearn.metrics (sklearn中的评价指标)

scikit-learn.metrics导入与调用
有两种方式导入：

方式一：

from sklearn.metrics import 评价指标函数名称

例如：

from sklearn.metrics import mean_squared_error
from sklearn.metrics import r2_score

调用方式为：直接使用函数名调用
计算均方误差mean squared error

mse = mean_squared_error(y_test, y_pre)

计算回归的决定系数R2

R2 = r2_score(y_test,y_pre)

方式二：

from sklearn import metrics

调用方式为：metrics.评价指标函数名称（parameter）

例如：
计算均方误差mean squared error

mse = metrics.mean_squared_error(y_test, y_pre)

计算回归的决定系数R2

R2 = metrics.r2_score(y_test,y_pre)

回归指标

explained_variance_score(y_true,y_pred,sample_weight=None,multioutput=‘uniform_average’)：回归方差(反应自变量与因变量之间的相关程度)

mean_absolute_error(y_true,y_pred,sample_weight=None,multioutput=‘uniform_average’)：平均绝对误差

mean_squared_error(y_true, y_pred, sample_weight=None, multioutput=‘uniform_average’)：均方差

median_absolute_error(y_true, y_pred) 中值绝对误差

r2_score(y_true, y_pred,sample_weight=None,multioutput=‘uniform_average’) ：R平方值

分类指标

accuracy_score(y_true,y_pre) : 精度

auc(x, y, reorder=False) : ROC曲线下的面积;较大的AUC代表了较好的performance。

average_precision_score(y_true, y_score, average=‘macro’, sample_weight=None):根据预测得分计算平均精度(AP)

brier_score_loss(y_true, y_prob, sample_weight=None, pos_label=None):The smaller the Brier score, the better.

confusion_matrix(y_true, y_pred, labels=None, sample_weight=None):通过计算混淆矩阵来评估分类的准确性 返回混淆矩阵

f1_score(y_true, y_pred, labels=None, pos_label=1, average=‘binary’, sample_weight=None): F1值
　　F1 = 2 * (precision * recall) / (precision + recall) precision(查准率)=TP/(TP+FP) recall(查全率)=TP/(TP+FN)

log_loss(y_true, y_pred, eps=1e-15, normalize=True, sample_weight=None, labels=None)：对数损耗，又称逻辑损耗或交叉熵损耗

precision_score(y_true, y_pred, labels=None, pos_label=1, average=‘binary’,) ：查准率或者精度； precision(查准率)=TP/(TP+FP)

recall_score(y_true, y_pred, labels=None, pos_label=1, average=‘binary’sample_weight=None)：查全率 ；recall(查全率)=TP/(TP+FN)

roc_auc_score(y_true, y_score, average=‘macro’, sample_weight=None)：计算ROC曲线下的面积就是AUC的值，the larger the better

roc_curve(y_true, y_score, pos_label=None, sample_weight=None, drop_intermediate=True)；计算ROC曲线的横纵坐标值，TPR，FPR    TPR = TP/(TP+FN) = recall(真正例率，敏感度) FPR = FP/(FP+TN)(假正例率，1-特异性)