数据科学入门，使用 xgboost 初试 kaggle

我不是女神ヾ 2022-06-15 09:28 245阅读 0赞

kaggle 目前是散兵游勇使用真实数据进行机器学习实践的最佳场所，拥有真实的数据和大量有经验的参赛者，以及良好的讨论共享氛围。

基于树的 boosting/ensemble 方法在实战中取得良好效果，陈天奇提供的高质量的算法实现 [xgboost][] 也使得构建基于该方法的解决方案更加容易高效，很多比赛的获胜方案都使用了 xgboost 。

本文记录一个从零开始到最终用 xgboost 给出一个完整模型的全部(简略但是完整)过程，如果你对机器学习有一些基本概念的了解，但是没有在真实数据上实战过，那么本文可能正对你需求，: )。

--------------------

### 实战，[Homesite Competition][] ###

> 不闻不若闻之，闻之不若见之；见之不若知之，知之不若行之；学至于行而止矣  
> \-- 荀子

那我们开始一个具体的比赛，[Homesite Competition][] ，这个比赛是保险公司根据以往的用户信息和保险报价，以及最后是否购买了保险这些数据，希望最后得到一个分类模型，根据用户信息和报价，预测该用户是否会购买该单保险。

有很多参赛者会放出自己的代码供大家参考讨论(在 kaggle 中这样一份供大家共享讨论的代码称为一个 kernel)。我们从[一个简略但是效果还不错的基于 xgboost 的代码][xgboost 1]开始。

将 [Homesite Competition][] 所需的数据和前面提到的 kernel 代码下载下来后，各文件的结构大致如下:

![1240][]

所需文件

如果你已经装好了 numpy, scikit-learn, pandas, xgboost 等需要的包，那么进入 src 文件夹运行代码就可以产出一份结果了。

--------------------

### 代码详解 ###

一行一行详细的介绍就太啰嗦了，挑一些重要的部分写上注释：

##### 读入数据 #####

首先是导入需要的包，然后读取数据，查看一下数据大概长什么样子:

![1240 1][]

读入数据

##### 去掉无意义的feature #####

QuoteNumber 只是用来标识每单生意的一个属性，没有任何物理含义，可以放心地从 feature 中去掉，不用担心影响训练出的模型效果：

![1240 2][]

去掉一列没有用的属性

##### 转换feature到更有物理含义的格式 #####

发现数据中的日期只是 str, 我们需要将它转为 datetime :

![1240 3][]

检查日期属性

![1240 4][]

转换日期为datetime

如果我们将 datetime 转为年月日，则为物理含义更好的 feature:

![1240 5][]

将 datetime 转为年月日

然后就可以把 datetime 一列去掉了:

![1240 6][]

去掉 datetime 列

##### 检查缺失值 #####

其实这一步应该更早一点做，不过就本文中涉及的数据倒没太大影响。

发现数据中确实有缺失值，

![1240 7][]

检查是否有缺失值

看看这些缺失的数据大致在哪儿，长什么样:

![1240 8][]

看看缺失值在哪儿

虽然 xgboost 内置了对缺失值的处理，但是更合理的处理方式总是需要具体数据具体分析的，可以看 [Detailed Data Cleaning/Visualization][Detailed Data Cleaning_Visualization] 这个kernel里是怎么对缺失值做处理的。  
这里先简单处理一下，把所有缺失值填上一个不太可能出现的取值:

![1240 9][]

简单填充缺失值，这里当然可以做更细致的处理，如对数值类型的数据填上众数，但在这个任务里影响不大

##### 对类别性质的feature做LabelEncode #####

现实数据中很多特征并不是数值类型，而是类别类型，比如红色/蓝色/白色之类，虽然决策树天然擅长处理类别类型的特征，但是还是需要我们把原始的字符串值转为类别编号。

发现train和test中的feature并不一致，train中的QuoteConversion\_Flag属性在test中没有(这里的QuoteConversion\_Flag是表示这一单生意最后是否做成，test\_set里当然不应该有这一属性，不然让你预测个啥)，

![1240 10][]

trainset 和 testset 的属性展示

而其他的属性都是一样的:

![1240 11][]

差别只限于 QuoteConverion\_Flag

对非数值类型的特征做 LabelEncode:

![1240 12][]

LabelEncode

做完之后字符串转为类别编号：

![1240 13][]

attributes after LabelEncoding

##### 使用 CV (cross validation) 做 xgb 分类器模型的调参 #####

使用 CV 来调超参，当然参数空间是自己选的:

![1240 14][]

cv 调参，StratifiedKFold 会保留每个 fold 中正负样本的比例与样本全集中的该比例一致

导出最后的结果:

![1240 15][]

输出 best model

当然你也可以看看各参数下的模型的表现是怎样的:

![1240 16][]

各超参下的模型结果对比

到这里，基本上就完成了该次虽然简略，但也大体完整的数据分析实战了。

[xgboost]: https://github.com/dmlc/xgboost
[Homesite Competition]: https://www.kaggle.com/c/homesite-quote-conversion
[xgboost 1]: https://www.kaggle.com/phunter/homesite-quote-conversion/xgboost-with-gridsearchcv
[1240]: /images/20220615/e577035c49ae4842b22919d2cc594510.png
[1240 1]: /images/20220615/a5ae0608dcd245e7827705c8bd5512c5.png
[1240 2]: /images/20220615/500811de6ed54e8eb9f47aa20220e59f.png
[1240 3]: /images/20220615/5e59031bc8054f01b79b47b52c6014ca.png
[1240 4]: /images/20220615/f4201bba2ba746298df9736a9a79caf6.png
[1240 5]: /images/20220615/917208fa503b4dc686e2997d9cc81940.png
[1240 6]: /images/20220615/5359f3ef482c4c82a0d08968eb2e0c7e.png
[1240 7]: /images/20220615/7fe00498b17847bc8b29bc256976c873.png
[1240 8]: /images/20220615/9c10a65607f148d69fcccccd34fc06b5.png
[Detailed Data Cleaning_Visualization]: https://www.kaggle.com/apryor6/santander-product-recommendation/detailed-cleaning-visualization-python
[1240 9]: /images/20220615/9ed5602a392f4a64a4a4c3488bb8e1b0.png
[1240 10]: /images/20220615/b30f6774772f4741a49ec94a60ef62e9.png
[1240 11]: /images/20220615/f21e80aea8d0421eaf4a466ab6e545d5.png
[1240 12]: /images/20220615/77131872279d40e2b6fb270305b4b413.png
[1240 13]: /images/20220615/fb8ab66e9117430dbc1e6f6c853652a7.png
[1240 14]: /images/20220615/412a1d0003b94193ae35ac3c5326d0a1.png
[1240 15]: /images/20220615/075ac9bff73a4201bf8410dcc0dc9fd7.png
[1240 16]: /images/20220615/53c2f110f4494fe3adf5c90b0c6eaee5.png