xgboost 正则项_xgboost算法原理学习笔记

- 日理万妓 2023-01-04 15:54 191阅读 0赞

GBDT算法还存在一些缺点，如损失函数没有进行正则化，拟合上一轮强学习器损失函数的梯度存在精度问题，每个弱学习器只能基于CART决策树生成且耗时较长，未考虑缺失值的情况。

xgboost能够很好的解决上述问题，xgboost在最小化损失函数时进行了正则化，拟合上一轮强学习器损失函数的二阶导展开，精度提高了，xgboost算法的弱学习器生成采用了并行的方式划分最优特征，提高了算法运行效率，考虑了缺失值的情况。

**1. xgboost算法的损失函数推导**

xgboost的损失函数在GBDT的基础上加上了正则化，正则化项如下：

![45fa36db0e9d8d5f4002fb9d5ed21b88.png][]

其中 γ 和 ![cf7b0b2f0faf992ca973f01b68d53a30.png][]是 正则项系数，J表示叶子节点个数，![bcf7610f183efdb94c366fed14b3b34e.png][]表示第t次迭代的弱学习器第j个叶子节点的值，正则化描述了弱学习器的复杂度。

因此xgboost的损失函数为：

![d32bf871caa49aacc20e1e8bf0e57404.png][]

其中![9d5e438a8ce0554e27b4b3d3455888ab.png][]为第t次迭代的弱学习器，![43055fc3a339b60f59a200a58a2d805c.png][]为第t-1次迭代的强学习器。

我们利用泰勒公式对上式进行二阶导展开：

![c5c487d72a76053920a5cef429e0dfd5.png][]

令第i个样本在第t个弱学习器的一阶导为：

![79a768dbda905be89f425677fef7d70d.png][]

二阶导为：

![ebcdb06e37baefddde7aa51066f66b6c.png][]

代入损失函数，得：

![dbf7c48f4d9748362d0524abbfd7fc7f.png][]

容易发现![1a0e0e7252fd0bba89c1dbde264c4ab5.png][]在第t次弱学习器的生成过程中为常数，因此可不用考虑。

损失函数可化简为：

![c8ef205b328f3768d13a4c39cab590f4.png][]

训练样本集输入给弱学习器中，以叶子节点的形式输出，每个样本对应特定的叶子节点。因此，损失函数等价于：

![6e4cdc02c3c1856ff24a62ed2e848882.png][]

记每个叶子节点区域一阶导的和为：

![724e6e9fb3f084d4d373016eec288e7b.png][]

其中![d2df9c18093815b85da6ef44e15b776e.png][]表示样本落在第t个弱学习器生成的第j个叶子节点区域的一阶导和。

每个叶子节点区域二阶导的和为：

![e9a8698a70afad27ee912caa40a87145.png][]

其中![594474b6d4550d7e3e51c327be6964b2.png][]表示样本落在第t个弱学习器生成的第j个叶子节点区域的一阶导和。

损失函数最终简化为：

![f56cd371d192d7304da43c924c578b32.png][]

我们的目的是要计算每次迭代后的叶子节点个数和每个叶子结点的值，这一过程通过最优化损失函数求解。

**2. xgboost损失函数的最优化方法**

令

![da412e275d5ecfff40002f098a7af3db.png][]

得：

![39ea17fcde5a99db069fcd94166780e4.png][]

我们得到了叶子结点值的最优表达式，并代入损失函数Lt，得：

![b87f8e4ef15df2f059b3f41fed617789.png][]

每次划分节点时，选择损失函数变化最大的特征切分点进行划分。

节点划分前后的损失函数变化记为deltaT，容易知道节点划分后的叶子节点比划分前多1个，有：

![9ec7394048214231d289552a68cc02ba.png][]

选择deltaT变化最大的特征切分点进行划分，得到叶子结点值![96cdd9ebcda98954584b3ffd05192dae.png][]，最后更新第t次迭代的强学习器，有：

![4370e8c3198c71aecaa223d821eb6d55.png][]

每次迭代后，我们都能计算所有样本的损失函数一阶导和二阶导。因此，按照上述介绍进行切点划分，每次划分都能最大化的减小损失函数。

**3. xgboost和GBDT的比较**

1) GBDT得到每次迭代的弱学习器需要两个步骤，首先拟合损失函数的负梯度，确定每个样本所对应的叶子节点区域，然后对每个节点再做一次线性搜索，确定每个叶子节点区域的值。xgboost只需要一次迭代就能计算每个样本对应的叶子节点区域和相应的值。

2)GBDT拟合上一轮强学习器损失函数的负梯度(一阶展开式)，xgboost拟合上一轮强学习器损失函数的二阶导展开式，精度更高。

3)xgboost的损失函数包含了正则项，泛化能力更强。

4)xgboost每次迭代过程中，采用并行切分特征的方式，提高了算法运行效率。

5)xgboost处理特征缺失值时，根据缺失值样本放在左边或右边的损失函数的下降量，来决定缺失值的处理方式。

总之，xgboost是一种非常强大的模型构建方法，是kaggle算法竞赛中最热门的的算法，小编强烈推荐使用它。

参考

https://www.cnblogs.com/pinard/p/10979808.html

欢迎扫码关注：

![69b5104586cf90126e99c4e2187685a8.png][]

[45fa36db0e9d8d5f4002fb9d5ed21b88.png]: /images/20221119/98dd179a8e5242578f97d8fefd2829cb.png
[cf7b0b2f0faf992ca973f01b68d53a30.png]: https://img-blog.csdnimg.cn/img_convert/cf7b0b2f0faf992ca973f01b68d53a30.png
[bcf7610f183efdb94c366fed14b3b34e.png]: /images/20221119/87f32cc90aae4369b4664b6aa590037f.png
[d32bf871caa49aacc20e1e8bf0e57404.png]: /images/20221119/224209798b9f4ccd8eb0ec91ee3f6804.png
[9d5e438a8ce0554e27b4b3d3455888ab.png]: https://img-blog.csdnimg.cn/img_convert/9d5e438a8ce0554e27b4b3d3455888ab.png
[43055fc3a339b60f59a200a58a2d805c.png]: /images/20221119/d055207e17e641b1bfb80e2a5e191fd9.png
[c5c487d72a76053920a5cef429e0dfd5.png]: /images/20221119/45d57cf5d349467eaf28bcf3802b235a.png
[79a768dbda905be89f425677fef7d70d.png]: /images/20221119/d33a709a5d7e42cb943a636f4aac3018.png
[ebcdb06e37baefddde7aa51066f66b6c.png]: /images/20221119/f0813eed01b54c6b8a8c1bfea3fb3150.png
[dbf7c48f4d9748362d0524abbfd7fc7f.png]: /images/20221119/7160b9378a794618b8e99014df6ff6f7.png
[1a0e0e7252fd0bba89c1dbde264c4ab5.png]: /images/20221119/96f9ff3cf4854e93bed3dd7935705c74.png
[c8ef205b328f3768d13a4c39cab590f4.png]: /images/20221119/baab3b06936f40b2b8180a1dfb53f9a4.png
[6e4cdc02c3c1856ff24a62ed2e848882.png]: /images/20221119/97d42d0d8a6048f7b28c18d775717c70.png
[724e6e9fb3f084d4d373016eec288e7b.png]: /images/20221119/5a5e5f31fa3640369ab25a60746c695d.png
[d2df9c18093815b85da6ef44e15b776e.png]: /images/20221119/d8d8f5325f34461fb10590cf18758881.png
[e9a8698a70afad27ee912caa40a87145.png]: /images/20221119/ad41f234b1644e0596d62e099720ab9e.png
[594474b6d4550d7e3e51c327be6964b2.png]: https://img-blog.csdnimg.cn/img_convert/594474b6d4550d7e3e51c327be6964b2.png
[f56cd371d192d7304da43c924c578b32.png]: https://img-blog.csdnimg.cn/img_convert/f56cd371d192d7304da43c924c578b32.png
[da412e275d5ecfff40002f098a7af3db.png]: https://img-blog.csdnimg.cn/img_convert/da412e275d5ecfff40002f098a7af3db.png
[39ea17fcde5a99db069fcd94166780e4.png]: https://img-blog.csdnimg.cn/img_convert/39ea17fcde5a99db069fcd94166780e4.png
[b87f8e4ef15df2f059b3f41fed617789.png]: https://img-blog.csdnimg.cn/img_convert/b87f8e4ef15df2f059b3f41fed617789.png
[9ec7394048214231d289552a68cc02ba.png]: https://img-blog.csdnimg.cn/img_convert/9ec7394048214231d289552a68cc02ba.png
[96cdd9ebcda98954584b3ffd05192dae.png]: https://img-blog.csdnimg.cn/img_convert/96cdd9ebcda98954584b3ffd05192dae.png
[4370e8c3198c71aecaa223d821eb6d55.png]: https://img-blog.csdnimg.cn/img_convert/4370e8c3198c71aecaa223d821eb6d55.png
[69b5104586cf90126e99c4e2187685a8.png]: https://img-blog.csdnimg.cn/img_convert/69b5104586cf90126e99c4e2187685a8.png