机器学习算法之集成学习

怼烎@ 2022-08-28 00:37 307阅读 0赞

**目录**

什么是集成学习

如何利用数据生成不同的模型

集成学习的结果结合策略

平均法

投票法

学习法

集成学习的两种分类

Bagging

Boosting

stacking

--------------------

# 什么是集成学习 #

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16][]

集成学习(Ensemble learning)通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统、基于委员会的学习等。其实准确来说集成学习不是一个机器学习算法，它是一种思想思路，就是最终结果由多个不同的算法模型决定，也就是三个臭皮匠顶个诸葛亮的思路。

# 如何利用数据生成不同的模型 #

1.不同算法生成的模型

2.同一种算法不同初始参数

3.同算法同参数，数据的特征采集不同

4.同算法同参数，数据的样本采集不同

5.同算法同参数同数据，不同的权重

# 集成学习的结果结合策略 #

## 平均法 ##

就是若干和弱学习器的输出进行平均得到最终的预测输出。

## 投票法 ##

就是选一个概率最大的，有时候会对不同的模型加权计算。

## 学习法 ##

用于解决输出结果不理想的方式，上述两种方法都是对弱学习器的结果做平均或者投票，相对比较简单，但是可能学习误差较大，于是就有了学习法这种方法，对于学习法，代表方法是stacking，当使用stacking的结合策略时， 我们不是对弱学习器的结果做简单的逻辑处理，而是再加上一层学习器，也就是说，我们将训练集弱学习器的学习结果作为输入，将训练集的输出作为输出，重新训练一个学习器来得到最终结果。

在这种情况下，我们将弱学习器称为初级学习器，将用于结合的学习器称为次级学习器。对于测试集，我们首先用初级学习器预测一次，得到次级学习器的输入样本，再用次级学习器预测一次，得到最终的预测结果。

# 集成学习的两种分类 #

## Bagging ##

这种是最简单的方式，并行训练一堆模型，然后投票决定结果，代表算法随机森林。

## Boosting ##

这种是串式生成不同模型，不可以并行，每一步都基于之前的结果计算权重，调整训练集, 然后利用调整后的训练集训练下一个模型。代表算法有adaboost，GBDT，Xgboost

## stacking ##

其实boosting和bagging都不仅局限于对决策树这种基模型适应，如果不是同一种base model就是stacking。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/96e926a76ff74a87811365ca354a3d3d.png