（十）机器学习---集成学习思想概述

柔光的暖阳◎ 2022-12-27 11:18 151阅读 0赞

### 目录 ###

*   *  一：什么是集成学习？
     *  二：Bagging介绍：
     *   *  1：Bagging的介绍：
         *  2：Bagging的集成过程：
         *  3：Bagging的集成的优点：
     *  三：随机森林：
     *   *  1：随机森林的介绍：
         *  2：随机森林的构造过程：
     *  四：Boosting算法:
     *   *  1： Boosting介绍：
         *  2：Boosting算法的实现过程：
     *  五：Adaboost算法：
     *   *  1：Adaboost算法概述：
         *  2：Adaboost算法的推导：
     *  六：GBDT (GBM, GBRT, MART)简介
     *   *  1：GBDT算法的基本思想：
         *  2：案例演示：
     *  七：Stacking思想：
     *   *  1：平均法：
         *  2：投票法：
         *  3：Stacking

## 一：什么是集成学习？ ##

*  1：集成学习 (Ensemble Learning) 算法的**基本思想**：将多个分类器组合，从而实现一个预测效果更好的集成分类器。
 *  2： **工作原理**：生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。
 *  3：集成算法的分类：**Bagging**（互不干扰），**Boosting**（串行的） 和**Stacking**（管道）等类型。

## 二：Bagging介绍： ##

### 1：Bagging的介绍： ###

*  1： 每次采用有放回的抽样从训练集中取出个训练样本组成新的训练集。
 *  2：利用新的训练集，训练得到M个子模型:\{h1, h2, h3, h4… hm\}
 *  3：对于分类问题，采用投票的方法，得票最多子模型的分类类别为最终的类别；对于回归问题，采用简单的平均方法得到预测值。

用人话解释啥叫Bagging:

> 假设我有100个样本，我现在要随机在100个样本中抽取新的样本，一共抽取5次。分别取出90,80,70,10,30 个样本。我用这五个样本分别进行训练，得到得到5个子模型M1,M2,M3,M4,M5。如果是分类问题，我们用投票的方式解决，假设其中三个模型预测是正样本，两个模型预测是负样本，我们最终判定就是正样本。如果是回归问题，我们采用平均的方法进行预测：最终的结果= （M1的预测结果 + M2的预测结果+ M3的预测结果+ M4的预测结果+ M5的预测结果）/ 5

### 2：Bagging的集成过程： ###

*  1：采样不同数据集。
 *  2：训练分类器。
 *  3：平权投票，获取最终结果。

### 3：Bagging的集成的优点： ###

*  1：均可在原有算法上提高约2%左右的泛化正确率。
 *  2：简单, 方便, 通用。

## 三：随机森林： ##

### 1：随机森林的介绍： ###

先用人类的语言描述一下随机森林咋回事？

> 首先我们会拿到一个训练集，假设有1000个样本，10个特征。我随机的有放回的分别抽取 100， 300， 245， 555， 1000 个样本。样本的特征值分别是 5 2 3 4 10。我们用这5个样本分别能够构造出一个决策树，一共5课决策树，这5棵决策树就构成了随机森林。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70]

### 2：随机森林的构造过程： ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 1]

思考题：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 2]

## 四：Boosting算法: ##

### 1： Boosting介绍： ###

*  1：Boosting算法是一种**提升算法**，可以将弱的学习算法提升为强的学习算法。
 *  2：**利用初始训练样本集训练得到一个基学习器。**
 *  3：**提高**被基学习器**误分**的**样本的权重**，使得那些被错误分类的样本在下一轮训练中可以得到更大的关注，**利用调整后的样本训练得到下一个基学习器**。
 *  4：重复上述步骤，直至得到M个学习器。
 *  5：对于分类问题，采用**有权重的投票方式**；对于回归问题，采用**加权平均得到预测值**。

### 2：Boosting算法的实现过程： ###

人类的语言描述一下Boosting算法：

> 根据训练的样本集，得到一个基学习器，然后我们增大错误的样本的权重，拿到新的样本，根据新的样本再次训练，得到另外一个学习器，以此类推。  
> 如果是分类问题，则按照有权重投票表示最终的分类：例如：5个学习器的概率分别是：7/10 , 7/10, 5/10, 4/10, 9/10。而预测的结果是：0 0 1 1 0 ,则最终的结果是（7/10 + 7/10 + 9/10）> （5/10 + 4/10）所以最终的结果就是 0。  
> 如果是回归问题则，采用加权平均得到预测值。例如：5个学习器的概率分别是：7/10 , 7/10, 5/10, 4/10, 9/10，而预测的结果是：50， 40， 30， 70， 50 则最终的结果是：1/5（7/10 \* 50 + 7/10 \* 40 + 5/10 \* 30 + 4/10 \* 70 + 9/10 \* 50）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 7]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 8]

## 五：Adaboost算法： ##

### 1：Adaboost算法概述： ###

*  1：Adaboost是**Boosting算法**中有代表性的一个。
 *  2：原始的Adaboost算法用于**解决二分类问题**。

### 2：Adaboost算法的推导： ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 10]  
在这里我们看出，当上次预测错了，要在原来的基础乘以e(am) ,则权重值就会变大。如果预测对了，则乘以e(am)/1, 则权重就会变小。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 11]

## 六：GBDT (GBM, GBRT, MART)简介 ##

### 1：GBDT算法的基本思想： ###

*  1：GBDT使用的是**回归树**，不是分类树。
 *  2：分类树和回归树的区别：**分类树**主要用于处理**响应变量为类别型的数据**，例如天气(可以为晴，阴或下雨等)。**回归树**主要用于处理**响应变量为数值型的数据**。
 *  3：当然回归树也可以用于二分类问题，对于回归树预测出的数值结果，通过设置一个阈值即可以将数值型的预测结果映射到二分类问题标签上，即 Y = -1, 1。

> 基本的核心思想：第一次真实的样本构建一个回归树，这个回归树有两个分支，每个分支我们可以计算样本的平均值。然后用每个值减去平均值得到一些差值，这些差值作为构建新的回归树的标签，然后再次构建一个子树，然后再计算平均值…

### 2：案例演示： ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 12]

## 七：Stacking思想： ##

### 1：平均法： ###

1： **简单平均法：**  
比如三个人成绩分别是 20， 30 ， 40， 则平均成绩就是30。（回归问题）  
如果三个模型预测结果是 0， 两个模型预测是1 ，则结果是0。  
2：**加权平均法：**  
比如三个人成绩分别是 20， 30 ， 40，权重分别是 0.5， 0.4，0.1,则最终结果就是（0.5 \* 20 + 0.4 \* 30 + 0.1 \* 40） = 26 （回归问题）  
分类问题：如果三个模型ABC预测结果是 0， 两个模型DE预测是1 ，权重分别是 A : 0.1, B 0.1, C 0.1, D 0.2 E 0.5,则（0.1 + 0.1 + 0.1）< (0.2 + 0.5) 则结果是 1。

### 2：投票法： ###

1：绝对多数投票法  
2：相对多数投票法：  
3：加权投票法：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 13]

### 3：Stacking ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 14]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70]: /images/20221120/94befaee173b4db9876d0566b90510c0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201210182250398.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201210182303799.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/2020121020015860.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201210200219933.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20201210200301557.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20201210200413801.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20201210200610153.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20201210200655715.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20201210203911488.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20201210204925408.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/2020121020574951.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20201210212518318.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20201212164755995.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20201212164931514.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70