构建决策树

构建决策树

• • 决策树
  • • 信息熵划分
    • 基尼系数划分
    • 调用 CART

 

---

决策树

决策树，是通过数据归纳，总结出条件判断的学习模式。

如果新来一位男生/客户/面试者，根据上面的树状图就可以作出是否见面/贷款/入职的决定，所以该树状图就称决策树。

决策树解决问题就是这样，天然的可以解决多分类问题，当然回归问题也可以。

那怎么构建一棵决策树呢？

• 决策树在哪种节点做划分？
• 划分的值是什么？
   

---

信息熵划分

我们可以通过信息熵来划分。

• 熵：衡量信息的不确定程度
• 熵越大，不确定性越大
• 熵越小，不确定性越小

熵的计算公式：

• $k$：一个系统中有 k 种分类
• $p_i$：某种分类所占的比例

熵公式的意思是：

• 一个系统中状态数量越多（可能性越多），不确定性越大。

比如买彩票的不确定性，要比抛硬币的不确定性大。只有一个类别时，熵为 0。

• 在状态数量不变的情况下，各个状态的可能性相同，不确定很大。

比如抛硬币是二选一，不确定性很大。可如果硬币一面重、一面轻，就有规律可寻，不确定性会小很多。
 

信息增量：衡量每一条信息价值的尺度，这个值越大，信息越有用。

 
我们的划分思路是，让可能性变少，划分后使得整体的信息熵降低，变得更加确定。

 

---

基尼系数划分

我们可以通过基尼系数来划分。

 

---

调用 CART

CART 是基尼系数实现的，基尼系数没有 $log$ 计算比信息熵更快。