字节跳动开源大模型训练框架 veGiantModel

女爷i 2023-09-30 09:46 17阅读 0赞

### **原文出处：**[字节跳动开源大模型训练框架 veGiantModel][veGiantModel] ###

### 背景 ###

近些年，NLP 应用方面有所突破，Bert、GPT、GPT-3 等超大模型横扫各种 NLP 测试后，人们发现参数量越大的模型，在算法方面表现越好，于是纷纷开始迅速向大模型方向发展，模型体积爆炸式增长。而大模型训练给现有的训练系统带来的主要挑战为显存压力，计算压力和通信压力。

![381f2849582bfb8309fd286f2a972f47.png][]

The size of language model is growing at an exponential rate (来源：https://huggingface.co/blog/large-language-models)

### 火山引擎大模型训练框架 veGiantModel ###

针对这个需求，字节跳动 AML 团队内部开发了火山引擎大模型训练框架 veGiantModel。基于 PyTorch 框架，veGiantModel 是以 Megatron 和 DeepSpeed 为基础的高性能大模型训练框架。其特点包括：

*  同时支持 **数据并行、算子切分、流水线** 并行 3 种分布式并行策略，同时支持 **自动化** 和 **定制化** 的并行策略；
 *  基于 ByteCCL 高性能异步通讯库，训练任务吞吐相比其他开源框架有 **1.2x-3.5x** 的提升；
 *  提供了更友好、灵活的流水线支持，降低了模型开发迭代所需要的人力；
 *  可在 GPU 上高效地支持数十亿至上千亿参数量的大模型；
 *  对带宽要求低，在私有化部署无 RDMA 强依赖。

其中，ByteCCL 为字节跳动自研的 BytePS 的升级版，针对 A100/V100 等各种机型拓扑做了分层规约优化，并支持了 allgather、alltoall 等更全面的通讯原语。

### veGiantModel 性能表现 ###

#### 硬件配置 ####

为了展示 VeGiantModel 的性能，veGiantModel 团队使用了自建机房的物理机，分别在 A100 和 V100 机型上做了测试，实验配置分别如下：

*  V100 测试：每个机器 8 张 Tesla V100 32G 型号 GPU，网络带宽 100G
 *  A100 测试：每个机器 8 张 Ampere A100 40G 型号 GPU，网络带宽 800G

#### 模型和对照组选择 ####

veGiantModel 选择了 GPT-13B 模型进行评估，seq length 是 256, global batch size 是 1536。GPT 为目前市面上最为流行的 transformer based 语言模型。性能对照组选择了开源社区最流行的 Megatron 和 DeepSpeed。

#### 测试结果 ####

*  模型：GPT-13B
 *  Megatron：v2.4，tensor-model-parallel-size 设置为 4, pipeline-model-parallel-size 设置为 4
 *  DeepSpeed：v0.4.2，使用 DeepSpeedExamples 开源社区中默认的 zero3 的配置
 *  运行环境
    
     *  V100/TCP ：100Gb/s TCP 网络带宽，4 机，每机 8 张 Tesla V100 32G GPU
     *  V100/RDMA：100Gb/s RDMA 网络带宽，4 机，每机 8 张 Tesla V100 32G GPU
     *  A100/TCP：800Gb/s TCP 网络带宽，4 机，每机 8 张 Tesla A100 40G GPU
     *  A100/RDMA：800Gb/s RDMA 网络带宽，4 机，每机 8 张 Tesla A100 40G GPU
 *  统计值：Throughtput (samples/s)

![01d02fda06f030aa67d7c419cfe8d1be.png][]

![eb6780ac9650b636c7329ebdc3f07545.png][]

从上述数据可以看出：

1.  veGiantModel 性能更优：无论是在高带宽还是低带宽的场下，veGiantModel 在 V100 和 A100 上均胜出 Megatron 和 DeepSpeed，最高可达 **6.9** 倍提升。
2.  veGiantModel 对网络带宽要求低：veGiantModel 在带宽变化对吞吐的影响相对最小 (<10%)，而 DeepSpeed(ZeRO) 是对带宽要求最高的，最高可达将近 **5** 倍的差距。

#### 原因解析 ####

veGiantModel 为什么比 Megatron 和 DeepSpeed 更快？原因如下：

*  ByteCCL (BytePS) 高性能异步通讯库。
 *  支持定制化的并行策略，可以将性能优化推到极致。
 *  在支持数据并行、算子切分、流水线并行 3 种分布式并行策略时，veGiantModel 会综合考虑到跨机的带宽，自动调整 toplogy 的 placement。
 *  感谢大家的阅读！希望本文对大家有所帮助。最后，有想学习本文源码笔记以及更多java高级学习课程，面试资料的小编已经整理打包成一个文档！要获取的小伙伴点赞私信回复学习即可免费领取！
 *  ![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5Y2B5LiA5oqA5pyv5pap_size_20_color_FFFFFF_t_70_g_se_x_16][]

[veGiantModel]: https://mp.weixin.qq.com/s?__biz=MzI1MzYzMjE0MQ==&mid=2247492155&idx=1&sn=260887dd9f2bf036ebcea5486022d844&utm_source=tuicool&utm_medium=referral
[381f2849582bfb8309fd286f2a972f47.png]: https://img-blog.csdnimg.cn/img_convert/381f2849582bfb8309fd286f2a972f47.png
[01d02fda06f030aa67d7c419cfe8d1be.png]: https://img-blog.csdnimg.cn/img_convert/01d02fda06f030aa67d7c419cfe8d1be.png
[eb6780ac9650b636c7329ebdc3f07545.png]: https://img-blog.csdnimg.cn/img_convert/eb6780ac9650b636c7329ebdc3f07545.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5Y2B5LiA5oqA5pyv5pap_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/65c6016b7f114deb984cb7ecd2d19bcf.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5Y2B5LiA5oqA5pyv5pap,size_20,color_FFFFFF,t_70,g_se,x_16