模型融合：加权融合、Stacking

た入场券 2023-09-25 14:52 92阅读 0赞

集成学习方法（其实LightGBM也是集成学习模型的一种，这里是从单模型结果与多个模型的区分）：

1.  三个模型输出结果的加权融合  
    加权融合：根据模型训练效果给模型不同的权重，然后求和得到最终文章点击的概率
2.  Stacking（使用5折交叉验证将模型输出结果作为特征，再使用简单模型logistic模型进行训练）  
    stacking方法，实施过程可以看下图：
    
    ![a359fe5b654fc1e815952c85c20856ba.jpeg][]
    
    stacking\_flow.jpg
    
      
    （图片转自[这里][Link 1]）  
    stacking是一种分层模型框架，对于两层stacking，第一层由多个基学习器组成，输入为原始训练集，第二层是将第一层基学习器的输出作为特征加入训练集进行训练，从而得到整个stacking模型。
    
    上图划分步骤：
    
    1.  通过k-flod的方式将training data划分成5份，基学习器训练五轮后分别得到每轮training data划分的一份验证集预测结果，将五份验证集的预测结果堆叠起来得到全部训练集的新特征，若有多个基学习器则生成多个新特征；
    2.  基学习器得到的新特征加入训练集中，使用二分类模型进行训练；
    3.  针对test data的预测，使用每个基学习器训练得到的5个模型分别预测，将预测结果求平均获得对应基学习器的预测特征，将预测结果带入data中使用第二层模型预测得到最终预测结果。

[模型融合—— stacking详细讲解\_千寻～的博客-CSDN博客][stacking_-CSDN]

[零基础入门推荐系统——task05: 排序模型+模型融合 - 简书][task05_ _ -]

[task5 模型融合 打卡 - david185 - 博客园][task5 _ _ - david185 -]

[a359fe5b654fc1e815952c85c20856ba.jpeg]: https://img-blog.csdnimg.cn/img_convert/a359fe5b654fc1e815952c85c20856ba.jpeg
[Link 1]: https://links.jianshu.com/go?to=https%3A%2F%2Fblog.csdn.net%2Fu011630575%2Farticle%2Fdetails%2F81302994
[stacking_-CSDN]: https://blog.csdn.net/u011630575/article/details/81302994
[task05_ _ -]: https://www.jianshu.com/p/010989916d1b
[task5 _ _ - david185 -]: https://www.cnblogs.com/david750/p/12636653.html