机器学习 day36（纯度）

1. 熵
   

• 这些例子的纯度和熵如图所示，且左侧为熵函数图
• 熵函数是判断某组数据是否纯度高的指标
  
• 熵函数公式如上图，底数为2仅为了使函数峰值为1，且设定0log(0)为0，但log(0)为无穷大

2. 信息增益

• 熵的减少成为信息增益，而减少熵意味着减少杂质或最大化纯度，通过计算信息增益从而决定在决策树的每个节点熵使用哪些特征进行拆分。
  
• 这里的信息增益表示为：根节点的熵减去下一个节点的加权平均熵，因此可以通过信息增益是否小于阈值来决定是否继续下分节点。
• 在此例子中，如果把某节点的样本个数占总体样本的比例用W表示，把某节点猫的个数占该节点样本个数的比例用P表示，且左侧节点为left，右侧节点为right，则信息增益可以得出通用公式，如下：
  

3. 构建决策树的过程

• 先从根节点开始，计算所有可能的信息增益，并选择最高的信息增益，根据选择的特征拆分数据集，并创建左右节点。继续递归调用以上拆分过程，直到达到阈值标准为止：
  1.当某个节点的纯度为100%，即该节点的所有样本都属于一个类
  2.当拆分节点后，导致树的深度超过最大深度
  3.当拆分节点后，信息增益小于阈值时
  4.当节点中的样本个数小于阈值时
• 综上：整个过程可以看作为递归调用，如下：