机器学习之集成学习算法简介

今天给大家介绍一下机器学习实战中，应用非常广泛的一种分析方法，集成学习方法。

集成学习在当前数据分析竞赛中（无论是kaggle也好还是国内的一些竞赛）是最常用的一种学习方法，效果也一直不错。集成学习简单来看就是将若干个单个模型组织起来实现一种多模型学习，从而来提高预测分析的准确率，相当于单个模型预测的容错性更高，因此它实际上并不是一种具体的算法，而是一种问题分析的思路。

集成学习，也称作多分类器系统，概念就是通过生成多个分类器，然后将多个分类器的预测结果进行整合，类似多个技术专家进行打分，最后来提高整体模型的预测效果。

分类器是我们通过对样本数据进行训练，最后具备对数据进行分类能力的一个模型或方法，比如之前我们介绍过的逻辑回归、朴素贝叶斯、SVM、决策树，都可称之为一种分类器。

具体过程是先产生一组个体学习器，然后通过某种策略将他们的分析结果组合起来产生最终的结果。组合的策略主要有平均法、投票法、学习法等。

从集成中的个体学习器的组成类型来看，集成学习分为”同质集成”、”异质集成”。

同质集成：此时集成中只包含同类型的个体学习器，例如决策树集成中的学习器全是决策树，神经网络集成中全是神经网络。

异质集成：集成中包含不同类型的个体学习器，例如同时包含决策树和神经网络，异质集成中的个体学习器由不同的