集成学习算法简介

什么是集成学习

• 集成学习通过建立几个模型来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。

机器学习的两个核心任务

1. 如何优化训练任务 → 欠拟合问题
2. 如何提升泛化性能 → 过拟合问题

集成学习中Boosting(串行)和Bagging(并行)

• 只要单分类器的表现不太差，集成学习的结果总是要好于单分类器的

Boosting

Boosting原理

• Boosting 方法训练基分类器时采用串行的方式，各个基分类器之间有依赖
• 它的基本思路是将基分类器层层叠加，每一层在训练的时候，对前一层基分类器分错的样本， 给予更高的权重。测试时，根据各层分类器的结果的加权得到最终结果

Boosting 的过程很类似于人类学习的过程，我们学习新知识的过程往往是迭代式的，第一遍学习的时候，我们会记住一部分知识，但往往也会犯一些错误，对于这些错误，我们的印象会很深。第二遍学习的时候，就会针对犯过错误的知识加强学习，以减少类似的错误发生。不断循环往复，直到犯错误的次数减少到很低的程度

AdaBoost

AdaBoost实现过程

1. 训练第一个学习器

2. 调整数据结构

3. 训练第二个分类器

4. 再次调整数据结构

5. 依次训练学习器，调整数据结构

6. 整体实现过程

关键点：
如何确认投票权重？
如何调整数据分布？

AdaBoost的构造过程小结

AdaBoost实例

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets

x, y = datasets.make_moons(n_samples=50000, noise=0.3, random_state=42)
#默认分割比例是75%和25%
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=42)
1
2
3
4
5
6
7
8

from sklearn.ensemble import AdaBoostClassifier
ada_clf = AdaBoostClassifier(DecisionTreeClassifier(), n_estimators=500)
ada_clf.fit(x_train, y_train)
ada_clf.score(x_test, y_test)
1
2
3
4

GBDT

• Gradient Boosting( 梯度提升决策树 ) 是 Boosting 中的一大类算法，其基本思想是根据当前模型损失函数的负梯度信息来训练新加入的弱分类器，然后将训练好的弱分类器以累加 的形式结合到现有模型中
• GBDT = 梯度下降 + Boosting + 决策树( 通常为 CART )

梯度的概念

w 1 = w 0 − α ▽ f ( w 0 ; x ) w 2 = w 1 − α ▽ f ( w 1 ; x ) w 3 = w 2 − α ▽ f ( w 2 ; x ) w 4 = w 3 − α ▽ f ( w 3 ; x ) w 5 = w 4 − α ▽ f ( w 4 ; x )

GBDT执行流程

令$\alpha =1,h_i(x)=-▽f(w_i;x)$
$$H(x)=h_0(x)+h_1(x)+h_2(x)...$$
$H(x)$是boosting集成表达方式，如果上式中的$h_i(x)=$决策树模型，则上式就变为：
GBDT=梯度下降+Boosting+决策树

GBDT案例

• 预测编号5的身高

1. 计算损失函数,并求出第一个预测值

2. 求解划分点

得出:年龄21为划分点的方差=0.01+0.0025=0.0125

3. 通过调整后目标值，求解得出$h_1(x)$

4. 求解$h_2(x)$

5. 得出结果

编号5身高 = 1.475 + 0.03 + 0.275 = 1.78

GBDT主要执行思想

1. 使用梯度下降法优化代价函数；
2. 使用一层决策树作为弱学习器，负梯度作为目标值；
3. 利用boosting思想进行集成。

GBDT实例

#它默认用的也是决策树，增加了基分类器的数目后，准确率提升
from sklearn.ensemble import GradientBoostingClassifier #梯度决策树

gb_clf = GradientBoostingClassifier(max_depth=2, n_estimators=500)
gb_clf.fit(x_train, y_train)
gb_clf.score(x_test, y_test)
1
2
3
4
5
6

梯度提升和梯度下降的区别和联系

• 两者都是在每 一轮迭代中，利用损失函数相对于模型的负梯度方向的信息来对当前模型进行更新
• 在梯度下降中，模型是以参数化形式表示，从而模型的更新等价于参 数的更新。而在梯度提升中，模型并不需要进行参数化表示，而是直接定义在函 数空间中，从而大大扩展了可以使用的模型种类

GBDT 的优点和局限性

1. 优点
   1. 预测阶段的计算速度快，树与树之间可并行化计算（是前一个有结果可以给下一个）
   2. 在分布稠密的数据集上，泛化能力和表达能力都很好，这使得 GBDT 在 Kaggle 的众多竞赛中，经常名列榜首
   3. 采用决策树作为弱分类器使得 GBDT 模型具有较好的解释性和鲁棒性， 能够自动发现特征间的高阶关系，并且也**不需要对数据进行特殊的预处理如归一化**等
2. 缺点
   1. GBDT 在高维稀疏的数据集上，表现不如支持向量机
   2. GBDT 在处理文本分类特征问题上，相对其他模型的优势不如它在处理数值特征时明显
   3. 训练过程需要串行训练，只能在决策树内部采用一些局部并行的手段提高训练速度

Bagging

• Bagging 与 Boosting 的串行训练方式不同，Bagging 方法在训练过程中，各基分类器之间无强依赖，可以进行并行训练。其中很著名的算法之一是基于决策树基分类器的随机森林 （Random Forest）。
• 为了让基分类器之间互相独立，将训练集分为若干子集（当训练样本数量较少时，子集之间可能有交叠）。
• Bagging 方法更像是一个集体决策的过程，每个个体都进行单独学习，学习的内容可以相同，也可以不同，也可以部分重叠。但由于个体之间存在差异性，最终做出的判断不会完全一致。在最终做决策时，每个个体单独作出判断，再通过投票的方式做出最后的集体决策。

Bagging实现过程

随机森林

随机森林构造过程

• 在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定
• 随机森林 = Bagging + 决策树

• 随机森林够造过程中的关键步骤（用N来表示训练用例（样本）的个数，M表示特征数目）：
  • 一次随机选出一个样本，有放回的抽样，重复N次（有可能出现重复的样本）
  • 随机去选出m个特征, m <
• 为什么要随机抽样训练集:
  • 如果不进行随机抽样，每棵树的训练集都一样，那么最终训练出的树分类结果也是完全一样的
• 为什么要有放回地抽样:
  • 如果不是有放回的抽样，那么每棵树的训练样本都是不同的，都是没有交集的，每棵树训练出来都是有很大的差异的；而随机森林最后分类取决于多棵树（弱分类器）的投票表决

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets

x, y = datasets.make_moons(n_samples=50000, noise=0.3, random_state=42)
rc_clf = RandomForestClassifier(n_estimators=500, random_state=666,
                                oob_score=True, n_jobs=-1)
rc_clf.fit(x, y)
1
2
3
4
5
6
7
8

from sklearn.ensemble import VotingClassifier
# 逻辑回归
from sklearn.linear_model import LogisticRegression
# SVM
from sklearn.svm import SVC
# 决策树
from sklearn.tree import DecisionTreeClassifier

#hard模式就是少数服从多数
voting_clf = VotingClassifier(estimators=[
    ('log_clf', LogisticRegression()),
    ('svm_clf', SVC()),
    ('dt_clf', DecisionTreeClassifier())], voting='hard')

voting_clf2 = VotingClassifier(estimators=[
    ('log_clf', LogisticRegression()),
    ('svm_clf', SVC(probability=True)),  #支持向量机中需要加入probability
    ('dt_clf', DecisionTreeClassifier())], voting='soft')
voting_clf2.fit(x_train, y_train)
voting_clf2.score(x_test, y_test)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20