Xgboost_Ray在Uber大规模生成落地中的优化与实践

短命女 2022-10-13 15:51 148阅读 0赞

关注并标星 **3分钟秒懂大数据**
    				
    				每天1次，打卡阅读
    				
    				更快更全面获取大数据技术博客

原文链接[：Xgboost\_Ray在Uber大规模生成落地中的优化与实践][Xgboost_Ray_Uber]

本篇文章将为读者全方面介绍xgboost\_ray的设计原理、代码设计、以及它在Uber生成落地中的使用，全文总共分为5部分内容，目录如下：

1.  引入xgboost\_ray的原因
2.  xgboost\_ray的架构
3.  xgbosot\_ray的功能点
4.  xgboost\_ray代码走读
5.  xgboost\_ray在uber中的应用

![image.png][]

**1.1、什么是xgboost？**

XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。
    
    说到XGBoost，不得不提GBDT(Gradient Boosting Decision Tree)。因为XGBoost本质上还是一个GBDT，但是力争把速度和效率发挥到极致，所以叫X (Extreme) GBoosted，两者都是boosting方法。

**1.2、为什么使用分布式的xgboost？**

•单机进行xgboost训练和预测无法满足大数据量的需求
    
    •单机不支持多GPU加速训练

**1.3、当前分布式xgboost有哪些？**

•基于spark、Dask、kubernetes

**1.4、当前分布式xgboost的不足？**

•动态计算图
    
    •容错处理
    
    •多GPU支持
    
    •与超参数集成

**1.5、xgboost\_ray能做什么？**

•每个Ray actors是有状态训练的workers
    
    •容错机制好
    
    •多GPU支持
    
    •支持分布式数据加载
    
    •与分布式超参数优化ray tune的集成

![image.png][image.png 1]

**2.1、分布式Xgbosot\_Ray架构图如下：**

![image.png][image.png 2]

Xgboost的分布式逻辑是通过Rabit来完成的，并且用Rabit Tracker完成任务的协调。

Rabit是一个实现Allreduce(规约)和broadcast的容错接口的轻量级库，底层是用socket进行通信的

**2.2、Xgbosot\_ray 架构图执行逻辑如下：**

（1）先在driver端启动一个RabitTracker，RabitTracker提供N个endpoint给worker连接。

（2）每一个xgboost训练节点通过rabit框架和rabitTracker通信完成注册，rabitTracker将这些rabit编号并形成环形网络结构。

（3）当所有的worker结点都建立起完备的网络拓扑关系以后，就可以启动计算任务监控整个执行过程。

**2.3、RabitTracker具体执行任务：**

RabitTracker是由工程下的tracker.py来创建。具体做的事如下：

1.  启动daemon线程，提供worker结点注册联接所需的end point，所有的worker结点都可以通过与Tracker程序通信来完成自身状态信息的注册。
2.  co-ordinate worker结点的执行：为worker结点分配Rank编号。基于收到的worker注册信息完成环形网络结构的构建，并广播给worker结点，以确保worker结点之间建立起合规的网络拓扑。
3.  当所有的worker结点都建立起完备的网络拓扑关系以后，就可以启动计算任务监控整个执行过程。

**2.4、分布式Xgbosot\_Ray运行原理图如下：**

![image.png][image.png 3]

![image.png][image.png 4]

![image.png][image.png 5]

![image.png][image.png 6]

1.  在Ray的每个worker节点中使用ray.remote远程调用进行分布式数据集加载；
2.  Driver端分配给每个worker进行xgboost训练，且每个worker都是通过rabit进行通信；
3.  将每个worker的checkpoint结果和训练评估结果反馈给Driver端。

![image.png][image.png 7]

**3.1、分布式数据集加载：**

![image.png][image.png 8]

•此处分布式数据集加载引用了modin组件

`原因：pandas是单核运行的，当大数据量加载入缓存时，会将庞大的dataframe同时拷贝入缓存中，引入modin(ray)，充分利用多核cpu`

•如何进行分区数据传输

`查看分区dataframe数据当前位于哪些节点上，并将分区分配给当前workers结点以最小化跨节点数据传输，且每个分区大小是统一的。`

**3.2、分布式数据集加载—api使用**

![image.png][image.png 9]

如上图所示：在通过api 编写代码时，先导入所需模块，然后将加载的数据集转为modin dataframe，然后再将训练集和标签集转为xgboost的数据格式。

**3.3、xgboost\_ray容错机制**

在分布式训练中，部分节点一定会出现失败情况，xgboost\_ray的容错机制中提供三种恢复方式:

（1）单点恢复

![image.png][image.png 10]

•默认：单节点从上一次checkpoint中恢复

当在训练的时候，如果某台worker挂掉，xgboost\_ray将默认从上一次checkpoint中恢复训练的结果，然后重新进行训练。

（2）Non-elastic(非弹性) 训练

![image.png][image.png 11]

•warm 重启（从上一次失败的worker节点进行进行重启恢复）

（3）Elastic训练

![image.png][image.png 12]

•继续在更少的worker上进行训练，直到失败的actors起来

**3.4、容错机制—api使用**

下图为容错机制的具体配置方式：

![image.png][image.png 13]

**3.5、容错机制–benchmark**

![image.png][image.png 14]

1.  在少量workers失败情况下，随着挂掉的workes增加，训练时长缓慢增加
2.  在non elastic训练模式下，训练就表现的很差，基本是其他两种情况的一倍
3.  在elastic训练模式下，训练表现的最好，在2节点挂掉时候达到最优的训练时长

**3.6、基于ray tune超参数调优**

![image.png][image.png 15]

•并行运行多个XGBoost-Ray 训练同时，每个运行具有不同的超参数配置。将训练代码移动到一个函数中，然后将该函数传递给tune.run. 在内部，train将检测是否由tune正在使用并自动报告结果以进行调整。

**3.7、基于ray tune超参数调优—api使用**

![image.png][image.png 16]

![image.png][image.png 17]

**4.1、使用xgboost\_ray对数据集进行分布式训练，画出代码执行流程图如下：**

![image.png][image.png 18]

下图为训练的具体执行源码，若想看完整流程，可自行在源码中查看

![image.png][image.png 19]

![image.png][image.png 20]

**4.2、使用xgboost\_ray对模型进行推理，流程图如下：**

![image.png][image.png 21]

具体的源码执行过程如下：

![image.png][image.png 22]

![image.png][image.png 23]

![image.png][image.png 24]

**5.1、在uber中的应用**

![image.png][image.png 25]

**下图为xgboost\_ray在Uber中使用的流程图：**

![image.png][image.png 26]

**通过使用Spark + xgboost\_ray技术进行实现：**

![image.png][image.png 27]

![image.png][image.png 28]

1.  Transformer：转换器，是一种可以将一个DataFrame转换为另一个DataFrame的算法。Transformer实现了一个方法transform()，它通过附加一个或多个列将一个DataFrame转换为另一个DataFrame。
2.  Estimator：评估器，它是学习算法或在训练数据上的训练方法的概念抽象。Estimator实现了一个方法fit()，它接受一个DataFrame并产生一个转换器。

**运用Saprk+xgboost\_ray的流程图如下：**

![image.png][image.png 29]

1.  spark中进行数据预处理
2.  创建ray context
3.  创建ray Estimator
4.  使用ray estimator进行训练和与预测集转换
5.  保存和加载模型

**spark+ xgboost\_ray 代码使用如下：**

![image.png][image.png 30]

**Flink+xgboost\_ray进行分布式训练流程图如下：**

![image.png][image.png 31]

以上就是 Xgboost\_Ray在Uber大规模生成落地中的优化与实践的讲解内容！觉得好的，点赞，分享，谢谢！！!

找各类大数据技术文章和面经，就来
    				
    				    **<3分钟秒懂大数据>**
    				
    				 随时更新互联网大数据组件内容
    				
    				   专为学习者提供技术博文
    				
    				快和身边的小伙伴一起关注我们吧！

[Xgboost_Ray_Uber]: https://mp.weixin.qq.com/s?__biz=MzU4NjY4NDU0MQ==&mid=2247490777&idx=1&sn=6415043609ab3c089ff2452003a8032f&chksm=fdf6ddcbca8154dd9e956e5f04d0d4e11a136f2fb0b60a06a906a48c44afecba658162560f1c&token=1532892026&lang=zh_CN#rd
[image.png]: /images/20221005/386a38c663bd4c93bcc23f450ef854aa.png
[image.png 1]: /images/20221005/594417747d4645cd9ed9478eae059ac0.png
[image.png 2]: /images/20221005/c6974563475c44148a8c0055c91e38ab.png
[image.png 3]: /images/20221005/7d1d98226c974c77bbac304d32433956.png
[image.png 4]: /images/20221005/f356bc3fcd0b4565920561dd0e74b761.png
[image.png 5]: /images/20221005/7bb12ce6e62b489e8cab8436ea16849c.png
[image.png 6]: /images/20221005/e8cd2e7f12cc48449bb9298479c3d7d0.png
[image.png 7]: /images/20221005/db9f65a96da348e4b13874ddb66b3702.png
[image.png 8]: /images/20221005/06f56451e42b40dd92042171f601eab0.png
[image.png 9]: /images/20221005/b9b0cddf471b475cb524ec42905f310b.png
[image.png 10]: /images/20221005/25bed937c8ec4e1baf442f1810cc6adf.png
[image.png 11]: /images/20221005/76e57a1997a2495b834f0ee33da918ad.png
[image.png 12]: /images/20221005/8f9ed48d766e4cc5bb18447ac0122043.png
[image.png 13]: /images/20221005/7f2bde87ee594f0fb4d8b7b6a5271f4d.png
[image.png 14]: /images/20221005/fdc93bb2371448899ab2335fc076bc35.png
[image.png 15]: /images/20221005/6dd1995d4b974026b661c5f951133c7a.png
[image.png 16]: /images/20221005/5552cf12b6b143968385ac607c671c16.png
[image.png 17]: /images/20221005/1e4c1469284d4b2ca1cc9efdd90c6267.png
[image.png 18]: /images/20221005/a13da652a66d4d938e31fd41329e84ee.png
[image.png 19]: /images/20221005/3787e2f1bbd6482e9364e00896e73633.png
[image.png 20]: /images/20221005/a98486fac967455eb31c8074b66778af.png
[image.png 21]: /images/20221005/1203943602154de3826c5619a93e0a67.png
[image.png 22]: /images/20221005/af2f8a6d98a74e6a9915e9f3a8512659.png
[image.png 23]: /images/20221005/2ef680d713ed4dfe980a48e3bb53f573.png
[image.png 24]: /images/20221005/35b53ce1be324890824dc5f59e2bdbf3.png
[image.png 25]: /images/20221005/b5d63860296840589812f967f75b73d1.png
[image.png 26]: /images/20221005/f282952ffd014b58aba501bbd8dc35c4.png
[image.png 27]: /images/20221005/b96d5da007f54ad8876c84b4919184cd.png
[image.png 28]: /images/20221005/b4867d8f8481406fad4c2b61f49cc6d3.png
[image.png 29]: /images/20221005/a5074108973c444da1bf78f6a1cfd4ab.png
[image.png 30]: /images/20221005/71417d6c21fb44c49fc24a3208af8b64.png
[image.png 31]: /images/20221005/6c79ad0f56fb4147bad068a765d460ac.png