GBDT（一图搞定，简单易懂）

比眉伴天荒 2023-03-06 05:58 19阅读 0赞

原文链接:[https://www.jianshu.com/p/405f233ed04b][https_www.jianshu.com_p_405f233ed04b]

GBDT (Gradient Boosting Decision Tree) 梯度提升迭代决策树。GBDT 也是 Boosting 算法的一种，但是和 AdaBoost 算法不同（AdaBoost 算法上一篇文章已经介绍）；区别如下：AdaBoost 算法是利用前一轮的弱学习器的误差来更新样本权重值，然后一轮一轮的迭代；GBDT 也是迭代，但是 GBDT 要求弱学习器必须是 CART 模型，而且 GBDT 在模型训练的时候，是要求模型预测的样本损失尽可能的小。

GBDT 直观理解：每一轮预测和实际值有残差，下一轮根据残差再进行预测，最后将所有预测相加，就是结果。

![Image 1][]

GBDT 模型可以表示为决策树的加法模型：

![Image 1][]

其中，T（x；θm）表示决策树；θm 为决策树的参数； M为树的个数。

采用前向分布算法， 首先确定初始提升树 fo（x） = 0， 第 m 步的模型是：

![Image 1][]

通过经验风险极小化确定下一棵树的参数：（其实就是让残差尽可能的小找到最优划分点）

![Image 1][]

这里的 L() 是损失函数,回归算法选择的损失函数一般是均方差(最小二乘)或者绝对值误差;而在分类算法中一般的损失函数选择对数函数来表示

GBDT 既可以做回归也可以做分类，下面先描述一下做回归的算法流程：

已知一个训练数据集 T = \{(x1,y1),(x2,y2),...,(xn,yn)\}, 如果将训练集分为不同的区域 R1,R2,...,Rn,然后可以确定每个区域输出的常识 c，c 的计算是将每个区域的 y 值相加再除以 y 的个数，其实就是求一个平均值。树可以表示为：

![Image 1][]

然后通过下图方式来确定具体分割点：

![Image 1][]

我将李航的统计学方法里面的例子粘出来，就知道提升树是如何计算的了：

![Image 1][]

![Image 1][]

![Image 1][]

以上就是 GBDT 选择分割点的过程， 如果特征有多个的话也是一样的道理，选择特征和特征值使得误差最小的点，作为分割点。所以其实 GBDT 也可以用作特征选择，通过GBDT 可以将重要的特征选择出来，当特征非常多的时候可以用来做降维。然后再融合类似逻辑回归这样的模型再进行训练。

[https_www.jianshu.com_p_405f233ed04b]: https://www.jianshu.com/p/405f233ed04b
[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，19人围观）

还没有评论，来说两句吧...

相关阅读

相关 Scala 一文搞定

第一节：概述为什么学习Scala ? Apache Spark 是专为大规模数据快速实时处理的计算引擎/内存级大数据计算框架。Apache Spark 是由Sca

我就是我/ 2023年10月10日 16:38/ 0 赞/ 116 阅读

相关 js轮播图，简单易懂

首先完成HTML和CSS部分， 1. 划分区域 2. 让图片排成一排，可以利用浮动，也可以利用定位，在这里我用的是定位 3. 开始js部分：由于自己还在学习中，对Jav

蔚落/ 2023年06月30日 08:53/ 0 赞/ 61 阅读

相关希尔排序--简单易懂图解

图解算法---希尔排序 ![图解算法---希尔排序][---] ![图解算法---希尔排序][--- 1] 前情回顾：直接插入排序（对插入排序不熟悉的建议先阅读此文）

朴灿烈づ我的快乐病毒、/ 2023年05月31日 02:57/ 0 赞/ 35 阅读

相关 GBDT（一图搞定，简单易懂）

原文链接:[https://www.jianshu.com/p/405f233ed04b][https_www.jianshu.com_p_405f233ed04b] GBD

比眉伴天荒/ 2023年03月06日 05:58/ 0 赞/ 20 阅读

相关一图搞定MySQL体系架构

> 要了解mysql的运行机制，那么首先要对mysql的体系结构有一定的了解。最近由于一些事，被打击的不轻，感觉自己可能再怎么努力，职业生涯也就这样了。所以对专研技术、写博

迷南。/ 2023年02月23日 05:21/ 0 赞/ 52 阅读

相关一图搞定CSS中的margin，border，padding

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

谁践踏了优雅/ 2022年12月28日 11:08/ 0 赞/ 199 阅读

相关一招搞定anaconda

一招搞定anaconda 1.安装 2.镜像源配置 3.虚拟环境的管理 4.不通过缓存下载 5.conda环境复制 1.安装在官网

Love The Way You Lie/ 2022年12月02日 15:21/ 0 赞/ 228 阅读

相关 [JavaScript]一张图彻底搞定JavaScript原型链

方便看全图可以将浏览器缩放百分比调小一点，方法是按住Ctrl滑动鼠标滚轮图中少了一条线，构造函数Object.\_\_proto\_\_===Function.proto

超、凢脫俗/ 2022年11月27日 09:00/ 0 赞/ 184 阅读

相关天秀！一张图就能彻底搞定Pandas！

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤无人信高洁，谁为表予心？大家好，在

电玩女神/ 2022年10月18日 12:44/ 0 赞/ 205 阅读

相关一张图搞定OAuth2.0

原文:[https://www.cnblogs.com/flashsun/p/7424071.html][https_www.cnblogs.com_flashsun_p_74

傷城~/ 2022年03月26日 08:38/ 0 赞/ 209 阅读