集成学习-简介

梦里梦外; 2021-11-05 09:50 342阅读 0赞

集成学习被称作机器学习中的屠龙刀，在很多场景下都取得了不错的效果。

集成学习的思想很简单，三个臭皮匠顶个诸葛亮，也就是算法融合，这些算法可以是相同的，也可以是不同的。

集成学习分为两步

1. 先训练一批基分类器　　【如果基学习器不同，一般称为个体学习器，意思一样，叫法不同而已】

2. 把这些基分类器组合起来

考虑这样一个例子

![1603920-20190626152819050-1861663915.png][]

在二分类任务中，假定三个分类器在三个测试样本上的表现如上图，其中√表示分类正确，×表示分类错误，集成学习的结果通过投票法产生，即“少数服从多数”。

如上图，在(a)中，每个分类器都只有66.6%的精度，但集成学习却达到了100%；在(b)中，三个分类器没有差别，集成之后性能没有提高；在(c)中，每个分类器的精度都只有33.3%，集成学习的结果变得更糟。

所以，要获得好的集成效果，基学习器应该“好而不同”

1. 基学习器准确率不能太低

2. 基学习器之间要有差别

根据基学习器的生成方式，集成学习大概可以分类两类

1. boosting：基学习器之间具有强依赖关系，必须串行生成，也叫提升

2. bagging：基学习器之间彼此独立，可以并行生成，也叫装袋

### boosting ###

对于分类问题，求得一个弱分类器要比一个强分类器容易得多，boosting就是把弱学习器提升为强学习器的算法，它是一个家族，包含多种算法，思路大致相同

1. 先从初始训练集中获取一个基分类器

2. 根据基分类器的表现对样本权重进行调整，提高被错分样本的权重，使得后续被重点关注

3. 根据调整后的样本再次获取一个基分类器

4. 如此重复，至迭代结束，一般是迭代M个分类器

5. 把基分类器组合起来

### bagging ###

首先学习自助采样法，见[我的博客][Link 1]

bagging 首先进行 M 轮自助采样法，得到 M 个样本集，然后每个样本集训练一个基分类器，得到 M 个基分类器，最后组合起来。

**组合策略**

分类问题：简单投票法，一个基学习器一票

回归问题：简单评价法，M个基学习器的均值

在训练基学习器时，可采用随机特征，如随机森林。

转载于:https://www.cnblogs.com/yanshw/p/11089822.html

[1603920-20190626152819050-1861663915.png]: /images/20211104/2be8f46fcf1640bc8e239d83a04cb199.png
[Link 1]: https://www.cnblogs.com/yanshw/p/11008828.html

发表评论取消回复

表情：

评论列表（有 0 条评论，342人围观）

还没有评论，来说两句吧...

相关阅读

相关 Springcloud学习简介

Springcloud介绍：业界大牛马丁.福勒（Martin Fowler）这样描述微服务：论文网址：[点击][Link 1] 微服务: 强调的是服务的大小

亦凉/ 2024年02月19日 19:46/ 0 赞/ 43 阅读

相关 6、集成学习

![1598479-20190917160759849-520784738.png][] ![1598479-20190917160805822-1032827958

缺乏、安全感/ 2023年08月17日 16:06/ 0 赞/ 162 阅读

相关集成学习：XGBoost

![20191009191333910.png][][日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Paddle

r囧r小猫/ 2023年07月11日 06:23/ 0 赞/ 3 阅读

相关机器学习简介

机器学习简介主要从以下几个方面介绍深度学习：目录 1.一个例子说明机器学习西瓜的好坏评选 2. 什么是机器学习？ 3. 机器学习有哪些类型 4. 机器

本是古典何须时尚/ 2022年11月11日 13:18/ 0 赞/ 300 阅读

相关 webpack&gulp集成简介

webpack简单介绍 webpack is a bundler for modules. The main purpose is to bundle JavaScrip

小灰灰/ 2022年09月23日 03:42/ 0 赞/ 208 阅读

相关集成学习

1、目前的集成学习方法大致可分为两大类； 1）个体学习器间存在强依赖关系、必须串形生成的序列化方法。

港控/mmm°/ 2022年05月24日 10:42/ 0 赞/ 294 阅读

相关集成学习

集成学习的基本策略： Boosting Boosting是一种串行模式，主要代表算法有：Adaboost、GDBT Boosting的基本策略：先构建一个基学习

╰+攻爆jí腚メ/ 2022年03月09日 09:48/ 0 赞/ 623 阅读

相关机器学习简介

文章目录 1. 什么是机器学习？ 2. 机器学习步骤 3. train、validation、test 数据集介绍 3.1 train

川长思鸟来/ 2022年01月23日 01:51/ 0 赞/ 519 阅读

相关集成学习-简介

集成学习被称作机器学习中的屠龙刀，在很多场景下都取得了不错的效果。集成学习的思想很简单，三个臭皮匠顶个诸葛亮，也就是算法融合，这些算法可以是相同的，也可以是不同的。

梦里梦外;/ 2021年11月05日 09:50/ 0 赞/ 343 阅读

相关持续集成工具 Jetbrains TeamCity 简介

目录安装 Windows下安装 Docker下安装使用TeamCity 初始化配置数据库新建项目设置构建步骤构建项目测试项目自动构建邮

系统管理员/ 2021年09月02日 03:22/ 0 赞/ 494 阅读