XGBoost参数解释

偏执的太偏执、 2022-05-31 09:50 367阅读 0赞

# 前言 #

本文中针对XGBoost的参数说明进行部分翻译得来，[原文链接][Link 1]。因而本文中只对一些关键参数进行了翻译，且由于本人能力有限，文中难免存在错误的地方，还望指正。以下是大致翻译内容。

在运行XGboost之前, 我们必须设置三种类型的参数: 通用参数（general parameters），Booster 参数（booster parameters）和学习目标参数（task parameters）  
• 通用参数决定了那种Booster被我们选择用于Boosting, 通常是线性和树型模型，也就是用于宏观函数控制  
• Booster参数取决于选择的Booster类型，用于控制每一步的booster  
• 学习任务参数决定学习策略。例如，回归任务可以使用不同的参数和排序任务  
• 命令行参数取决于xgboost的CLI版本

# General Parameters #

1.  **booster** \[缺省值=gbtree\]  
    决定那个使用那个booster，可以是gbtree，gblinear或者dart。 gbtree和dart使用基于树的模型，而gblinear 使用线性函数.
2.  **silent** \[缺省值=0\]  
    设置为0打印运行信息；设置为1静默模式，不打印
3.  **nthread** \[缺省值=设置为最大可能的线程数\]  
    并行运行xgboost的线程数，输入的参数应该<=系统的CPU核心数，若是没有设置算法会检测将其设置为CPU的全部核心数  
    ***下面的两个参数不需要设置，使用默认的就好了***
4.  **num\_pbuffer** \[xgboost自动设置，不需要用户设置\]  
    预测结果缓存大小，通常设置为训练实例的个数。该缓存用于保存最后boosting操作的预测结果。
5.  **num\_feature** \[xgboost自动设置，不需要用户设置\]  
    在boosting中使用特征的维度，设置为特征的最大维度

# Parameters for Tree Booster #

1.  **eta** \[缺省值=0.3，别名：learning\_rate\]  
    更新中减少的步长来防止过拟合。在每次boosting之后，可以直接获得新的特征权值，这样可以使得boosting更加鲁棒。  
    范围： \[0,1\]
2.  **gamma** \[缺省值=0，别名: min\_split\_loss\]（分裂最小loss）  
    在节点分裂时，只有分裂后损失函数的值下降了，才会分裂这个节点。Gamma指定了节点分裂所需的最小损失函数下降值。 这个参数的值越大，算法越保守。这个参数的值和损失函数息息相关，所以是需要调整的。  
    范围: \[0,∞\]
3.  **max\_depth** \[缺省值=6\]  
    这个值为树的最大深度。 这个值也是用来避免过拟合的。max\_depth越大，模型会学到更具体更局部的样本。设置为0代表没有限制  
    范围: \[0,∞\]
4.  **min\_child\_weight** \[缺省值=1\]  
    决定最小叶子节点样本权重和。XGBoost的这个参数是最小样本权重的和，而GBM参数是最小样本总数。 这个参数用于避免过拟合。当它的值较大时，可以避免模型学习到局部的特殊样本。 但是如果这个值过高，会导致欠拟合。这个参数需要使用CV来调整。.  
    范围: \[0,∞\]
5.  **subsample** \[缺省值=1\]  
    这个参数控制对于每棵树，随机采样的比例。 减小这个参数的值，算法会更加保守，避免过拟合。但是，如果这个值设置得过小，它可能会导致欠拟合。 典型值：0.5-1，0.5代表平均采样，防止过拟合.  
    范围: (0,1\]
6.  **colsample\_bytree** \[缺省值=1\]  
    用来控制每棵随机采样的列数的占比(每一列是一个特征)。 典型值：0.5-1  
    范围: (0,1\]
7.  **colsample\_bylevel** \[缺省值=1\]  
    用来控制树的每一级的每一次分裂，对列数的采样的占比。 我个人一般不太用这个参数，因为subsample参数和colsample\_bytree参数可以起到相同的作用。但是如果感兴趣，可以挖掘这个参数更多的用处。  
    范围: (0,1\]
8.  **lambda** \[缺省值=1，别名: reg\_lambda\]  
    权重的L2正则化项。(和Ridge regression类似)。 这个参数是用来控制XGBoost的正则化部分的。虽然大部分数据科学家很少用到这个参数，但是这个参数在减少过拟合上还是可以挖掘出更多用处的。.
9.  **alpha** \[缺省值=0，别名: reg\_alpha\]  
    权重的L1正则化项。(和Lasso regression类似)。 可以应用在很高维度的情况下，使得算法的速度更快。
10. **scale\_pos\_weight**\[缺省值=1\]  
    在各类别样本十分不平衡时，把这个参数设定为一个正值，可以使算法更快收敛。通常可以将其设置为负样本的数目与正样本数目的比值。

# Parameters for Linear Booster #

1.  **lambda** \[缺省值=0，别称: reg\_lambda\]  
    L2正则化惩罚系数，增加该值会使得模型更加保守。
2.  **alpha** \[缺省值=0，别称: reg\_alpha\]  
    L2正则化惩罚系数，增加该值会使得模型更加保守。
3.  **lambda\_bias** \[缺省值=0，别称: reg\_lambda\_bias\]  
    偏置上的L2正则化(没有在L1上加偏置，因为并不重要)

# Learning Task Parameters #

1.  **objective** \[缺省值=reg:linear\]  
    “**reg:linear**” – 线性回归  
    “**reg:logistic**” – 逻辑回归  
    “**binary:logistic**” – 二分类逻辑回归，输出为概率  
    “**binary:logitraw**” – 二分类逻辑回归，输出的结果为wTx  
    “**count:poisson**” – 计数问题的poisson回归，输出结果为poisson分布。在poisson回归中，max\_delta\_step的缺省值为0.7 (used to safeguard optimization)  
    “**multi:softmax**” – 设置 XGBoost 使用softmax目标函数做多分类，需要设置参数num\_class（类别个数）  
    “**multi:softprob**” – 如同softmax，但是输出结果为ndata\*nclass的向量，其中的值是每个数据分为每个类的概率。
2.  **eval\_metric** \[缺省值=通过目标函数选择\]  
    可供选择的如下所示：  
    “**rmse**”: 均方根误差  
    “**mae**”: 平均绝对值误差  
    “**logloss**”: negative log-likelihood  
    “**error**”: 二分类错误率。其值通过错误分类数目与全部分类数目比值得到。对于预测，预测值大于0.5被认为是正嘞，其它归为负类。  
    “**error@t**”: 不同的划分阈值可以通过 ‘t’进行设置  
    “**merror**”: 多分类错误率，计算公式为(wrong cases)/(all cases)  
    “**mlogloss**”: 多分类log损失  
    “**auc**”: 曲线下的面积  
    “**ndcg**”:Normalized Discounted Cumulative Gain  
    “**map**”: 平均正确率
3.  **seed** \[缺省值=0\]  
    随机数的种子 设置它可以复现随机数据的结果，也可以用于调整参数

# Command Line Parameters #

一下的参数只用于命令行版本的XGBoost版本中。  
1. **use\_buffer** \[缺省值=1\]  
是否为文本输入创建二进制缓存。这样做将加快加载速度。  
2. **num\_round**  
boosting的迭代次数。  
3. **data**  
训练数据的路径  
4. **test:data**  
用作预测的测试数据路径  
5. **save\_period** \[缺省值=0\]  
保存参数模型的周期  
6. **task** \[缺省值=train\] 可选项: train, pred, eval, dump  
train: 使用data训练  
pred: 使用test:data做预测  
eval: 进行评估统计，由eval\[name\]=filename指定  
dump: 将学习的模型导出到文本格式  
7. **model\_in** \[缺省值=NULL\]  
输入模型的路径，被用于test, eval, dump。在training中，XGBoost将会从输入模型的基础上继续进行训练。  
8. **model\_out** \[缺省值=NULL\]  
训练完成之后模型的保存路径。如果没有指定将会使用诸如0003.model，这里的 0003是boosting的迭代数  
9. **model\_dir** \[缺省值=models\]  
训练期间的训练模型输出文件夹  
10. **fmap**  
特征图谱，被用于dump模式  
11. **name\_dump** \[缺省值=dump.txt\]  
模型dump文件的名称  
12. **name\_pred** \[缺省值=pred.txt\]  
预测文件的名称，被用于pred模式  
13. **pred\_margin** \[缺省值=0\]  
predict margin 而不是转换概率

[Link 1]: http://xgboost.readthedocs.io/en/latest/parameter.html