决策树概念

图例

概念

决策树基本上就是对经验的总结

决策树的构成，分为两个阶段。构造和剪枝

构造

概念

构造就是生成一颗完整的决策树。构造的过程就是选择什么属性作为节点的过程

构造过程，会存在3种节点

• 根节点：就是树的最顶端，最开始的那个节点。在上图中，“天气”就是一个根节点
• 内部节点: 就是树中间的那些节点。比如说“温度”、“湿度”、“刮风”
• 叶节点: 就是树最底部的节点，也就是决策结果

问题

在构造过程，要解决3个重要的问题

• 选择那些属性作为根节点
• 选择那些属性作为子节点
• 什么时候停止并得到目标状态，即叶子节点

如果解决节点属性构造问题

纯度、信息熵、信息增益

决策树的构造过程理解成为寻找纯净划分的过程。纯度换一种方式来解释就是让目标变量的分歧最小

剪枝

概念

剪枝就是给决策树瘦身，是为防止过拟合(Overfitting)现象的发生

欠拟合&&过拟合

欠拟合，和过拟合就好比是下面这张图中的第一个和第三个情况一样

造成过拟合的原因之一就是因为训练集中样本量较小

预剪枝

预剪枝是在决策树构造时就进行剪枝

方法是在构造的过程中对节点进行评估，如果对某个节点进行划分，在验证集中不能带来准确性的提升

那么对这个节点进行划分就没有意义，这时就会把当前节点作为叶节点，不对其进行划分

后剪枝

后剪枝就是在生成决策树之后再进行剪枝，通常会从决策树的叶节点开始，逐层向上对每个节点进行评估

如果剪掉这个节点子树，与保留该节点子树在分类准确性上差别不大，或者剪掉该节点子树，能在验证集中带来准确性的提升，那么就可以把该节点子树进行剪枝

方法是：用这个节点子树的叶子节点来替代该节点，类标记为这个节点子树中最频繁的那个类