集成学习-树模型

可以分为三部分学习树模型：

1. 基本树（包括 ID3、C4.5、CART）.
2. Random Forest、Adaboost、GBDT
3. Xgboost 和 LightGBM。

基本树

选择特征的准则

ID3：信息增益max

C4.5：信息增益比max

CART：基尼指数min

优缺点

ID3

核心思想是奥卡姆剃刀（决策树小优于大）

缺点：

• ID3 没有剪枝策略，容易过拟合；
• 信息增益准则对可取值数目较多的特征有所偏好，类似“编号”的特征其信息增益接近于 1；
• 只能用于处理离散分布的特征；
• 没有考虑缺失值。

C4.5

有剪枝策略。最大的特点是克服了 ID3 对特征数目的偏重这一缺点，引入信息增益率来作为分类标准。

缺点：

• C4.5 只能用于分类；
• C4.5 使用的熵模型拥有大量耗时的对数运算，连续值还有排序运算；
• C4.5 在构造树的过程中，对数值属性值需要按照其大小进行排序，从中选择一个分割点，所以只适合于能够驻留于内存的数据集，当训练集大得无法在内存容纳时，程序无法运行。

CART

ID3 和 C4.5 虽然在对训练样本集的学习中可以尽可能多地挖掘信息，但是其生成的决策树分支、规模都比较大，CART 算法的二分法可以简化决策树的规模，提高生成决策树的效率。