SHAP 属于模型事后解释的方法，它的核心思想是计算特征对模型输出的边际贡献，再从全局和局部两个层面对“黑盒模型”进行解释。SHAP构建一个加性的解释模型，所有的特征都视为“贡献者”。
对于每个预测样本，模型都产生一个预测值，SHAP value就是该样本中每个特征所分配到的数值。
基本思想：计算一个特征加入到模型时的边际贡献，然后考虑到该特征在所有的特征序列的情况下不同的边际贡献，取均值，即某该特征的SHAP baseline value
对于每个预测样本，模型都产生一个预测值，SHAP value就是该样本中每个特征所分配到的数值。
基本思想：计算一个特征加入到模型时的边际贡献，然后考虑到该特征在所有的特征序列的情况下不同的边际贡献，取均值，即某该特征的SHAPbaseline value
文章kaggle | Machine Learning for Insights Challenge提及： Permutation importance很不错，因为它用很简单的数字就可以衡量特征对模型的重要性。但是它不能handle这么一种情况：当一个feature有中等的permutation importance的时候，这可能意味着这么两种情况：
- 1：对少量的预测有很大的影响，但是整体来说影响较小；
- 2：对所有的预测都有中等程度的影响。
SHAP 就可以应用的上，来看一下SHAP呈现的几种图，本轮笔者 是直接拿slundberg/shap中的代码，发现0.39.0版本，跟之前的版本差异非常大，很多函数名称都发生了变化。