高性能计算网络，RoCE vs. InfiniBand该怎么选？

缺乏、安全感 2022-10-08 05:38 85阅读 0赞

![图片][bf2ac57a503d2e222621e6dbf23b2519.png]

![图片][7febf7e122189fc0f44196feaf4dfdfd.gif]

高性能计算网络平台解决方案（技术细节参考：[**从高性能计算(HPC)技术演变解析方案、生态和行业发展趋势**][HPC]），能够解决物探高性能计算中，基于GPU的程序必须调用 IB栈，而传统TCP/IP 堆栈应用无法支撑高性能计算网络通信的问题。

ROCE v2架构解决方案逐渐被客户接受（参考：[**详解RoCE网络技术**][RoCE]和[**RoCE网络技术和实现方式**][RoCE 1]）， 生态和应用不断成熟，同时网络传输效率和可靠性也得到加强，通过ROCE v2 技术的运营降低了主机CPU消耗。

![图片][7591ff2745cc6a8119cbc2052f326c3a.png]

HPC是指利用聚集起来的计算能力来处理标准工作站无法完成的数据密集型计算任务，例如勘探业务中所需要的仿真、建模和渲染等。我们在处理各种计算问题时常常遇到这样的情况：由于需要大量的运算，一台通用的计算机无法在合理的时间内完成工作，或者由于所需的数据量过大而可用的资源有限，导致根本无法执行计算。

HPC方法通过使用专门或高端的硬件，或是将多个单元的计算能力进行整合，能够有效地克服这些限制。将数据和运算相应地分布到多个单元中，这就需要引入并行概念。

不同类型的建模问题具有不同的可并行程度。以参数化扫描为例，这种问题求解多个具有独立的几何、边界条件或材料属性的相似的模型，几乎可以完全并行计算。具体的实现方法是为将每一个模型设置分配给一个计算单元。这类问题非常适合并行计算，因此通常称为“易并行问题”并行问题对集群中的网络速度和延迟非常敏感。（在其他情况下，由于网络速度不够快，无法有效处理通信，很可能导致速度减慢。）因此，可以将通用硬件连接起来，加快这类问题的计算速度。

传统网络中 TCP/IP 堆栈随着网络接入带宽的增长，对 CPU 的消耗越来越高，HPC 网络通常采用 RDMA 技术对网络减少TCP/IP 堆栈对计算节点 CPU 的消耗，降低网络传输延时。

RDMA 允许在两台服务器的内存之间直接转移数据（参考：[**详解RDMA架构和技术原理**][RDMA]、[**谈谈高性能RDMA网络优势和实践**][RDMA 1]和[**深入浅出全面解析RDMA**][RDMA 2]），而无需任何一台服务器的 CPU 参与（也称为零拷贝网络），因此可实现更高效的通信。这种处理在支持 RDMA 的网络接口卡（NIC）上进行，并且会避开TCP/IP 堆栈，因而加快数据转移。如此，就可以直接将数据传送到目标服务器上的远程内存中，降低用于其他处理的服务器的 CPUI/O 工作负载。

传统的IB交换体系架构（参考：[**Infiniband架构和技术实战**][Infiniband]、[**InfiniBand高速互连网络设计的研究**][InfiniBand]和[**200G HDR InfiniBand有啥不同？**][200G HDR InfiniBand]）利用了 RDMA 技术技术，通过业界最小的转发延时，为 HPC 提供高性能低延时的网络平台，但 Infinband交换机有自己的独立架构体系和协议（IB 协议和规范）：

*  1. 必须和支持 IB 协议的设备进行互联。
 *  2.Infinband 体系相对封闭，难以替换。
 *  3. Infinband 体系和传统网络对接需要单独的网关。

对于在整体 HPC 计算平台中，存在这大量对延时并非绝对敏感的应用，而以昂贵的 IB 交换端口来承载数目众多的这些应用无形中增加了企业的计算成本、维护成本、管理成本，制约了 HPC 整体系统的扩展。从业界以太网络基于10G/25G/40G/100G 带宽增长的趋势的发展趋势来看，随着计算规模的不断扩增，原有很多基于 IB 建立的网络无论从带宽介质形态，端口密度等都需要扩容，对于非延时绝对要求的 HPC 应用接入，都倾向于采用以太网替换原有 IB 交换机以降低成本。

RoCE 规范在以太网上实现了 RDMA 功能，ROCE 需要无损网络，RoCE的主要优势在于它的延迟较低，因此可提高网络利用率；同时它可避开TCP/IP 并采用硬件卸载，因此 CPU 利用率也较低。

![图片][08500f86b68156e04afbc802adeb173d.png]

新 RoCEv2 标准可实现 RDMA 路由在第三层以太网网络中的传输。RoCEv2 规范将用以太网链路层上的 IP 报头和 UDP 报头替代 InfiniBand 网络层。这样，就可以在基于 IP 的传统路由器之间路由 RoCE。

*  **RoCE v1协议：**基于以太网承载 RDMA，只能部署于二层网络，它的报文结构是在原有的 IB架构的报文上增加二层以太网的报文头，通过 Ethertype 0x8915 标识 RoCE 报文。
 *  **RoCE v2协议：**基于 UDP/IP 协议承载 RDMA，可部署于三层网络，它的报文结构是在原有的 IB 架构的报文上增加UDP头、IP 头和二层以太网报文头，通过 UDP 目的端口号 4791 标 识 RoCE 报文。RoCE v2 支持基于源端口号 hash，采用 ECMP 实现负载分担，提高了网络的利用率。

利用这项创新，业界就能够满足企业内日益增长的高性能和横向扩展架构需求。RoCEv2 可帮助其实现融合路径的持续性并提供高度密集的数据中心，同时为基于 IB 的应用移植，提供了快速迁移的方式，减少了开发工作量，提高了用户部署应用和迁移应用的效率。

![图片][4e317c3ebb9d119cfee67cc08c71fe2b.png]

国内华为、浪潮、华三等主流网络厂商都支持RoCE网络方案。以浪潮为例，典型方案采用CN12000 接入核心，形成三张网：计算网、管理网、存储网，在计算网实现高密度，高转发，配合主机实现 RDMA 关键技术的运用，实现基于 IB 协议开发的高性能应用平滑迁移到更低成本的以太交换网络中来。

网络高性能产品的支持，极大简化了高性能网络架构，并降低了多级架构层次造成的延时，为关键计算节点接入带宽的平滑升级提供有力支撑。采用 RoCEv2 标准作为核心，通过对计算节点 RoCEv2、DCE/DCB 的支持，消除了程序移植带来的复杂性和额外的工作量，降低了计算节点 TCP/IP 堆栈对主机 CPU 的消耗。

核心网络通过PFC/RoCE等技术的支撑，使得高性能计算网络具备更高的开放性，在没有降低计算效率的前提下，降低了整个高性能集群平台建设的成本。

各位看官，今天的内容分享完毕，深入技术细节及解决方案，请参考：

[高性能计算技术、方案和行业全解(第二版)][Link 1]

[InfiniBand架构和技术实战总结(第二版)][Link 1]

[RDMA原理分析、对比和技术实现解析][Link 1]

或者获取全店资料打包，后续免费获取全店所有新增和更新。

**[全店铺技术资料打包(全)][Link 1]**

![图片][d78a46aa8b25841aa728637fc632548f.png]

**转载申明：转载**本号文章请**注明作者**和**来源**，本号发布文章若存在版权等问题，请留言联系处理，谢谢。

**推荐阅读**

更多**架构相关技术**知识总结请参考“**架构师全店铺技术资料打包**”相关电子书(**37本****技术资料打包汇总详情**可通过“**阅读原文**”获取)。

全店内容持续更新，现下单“**全店铺技术资料打包(全)**”，后续可享**全店**内容更新“**免费**”赠阅，价格仅收**198**元(原总价**350**元)。

**温馨提示：**

扫描**二维码**关注公众号，点击**阅读原文**链接获取**“****架构师技术全店资料打包汇总(全)**”电子书资料详情。

![图片][25e0145ca70c780e7781c57672014833.png]

![图片][9c09251a07042f4d7903e76700fe62ab.gif]

[bf2ac57a503d2e222621e6dbf23b2519.png]: /images/20221005/ce077cde48c84f81832f4a5d8a27d866.png
[7febf7e122189fc0f44196feaf4dfdfd.gif]: /images/20221005/1b23842919be42518d40071ef01462c9.png
[HPC]: http://mp.weixin.qq.com/s?__biz=MzAxNzU3NjcxOA==&mid=2650716906&idx=1&sn=9df558eee89bd2c4e8b7e9bb37868193&chksm=83e97c8bb49ef59d69b8da46a7ce80a0a273065e60dfbd73e32569be8e96858dce3504ea0b23&scene=21#wechat_redirect
[RoCE]: http://mp.weixin.qq.com/s?__biz=MzAxNzU3NjcxOA==&mid=2650726275&idx=1&sn=b98edf42713987269d8bbad8b537e87d&chksm=83e919e2b49e90f40e03b35819f445824019aeca664fd2ea77247d0514933720444136112187&scene=21#wechat_redirect
[RoCE 1]: http://mp.weixin.qq.com/s?__biz=MzAxNzU3NjcxOA==&mid=2650727846&idx=2&sn=127de4107a1e1b9a983cc79ad037130c&chksm=83e923c7b49eaad1d6fc1b55580be2f252c82790487aee1a5e99b632fc030afc8059a4289283&scene=21#wechat_redirect
[7591ff2745cc6a8119cbc2052f326c3a.png]: /images/20221005/1c13b596f96540a3a4a245dc5e096ed5.png
[RDMA]: http://mp.weixin.qq.com/s?__biz=MzAxNzU3NjcxOA==&mid=2650719601&idx=1&sn=c3807b7e396d9552e0e38666242ea0ee&chksm=83e90310b49e8a065e451c0f8eca1b9241930980f65ee860976b7b3decb7c5b11a315d5218a2&scene=21#wechat_redirect
[RDMA 1]: http://mp.weixin.qq.com/s?__biz=MzAxNzU3NjcxOA==&mid=2650719702&idx=1&sn=6e34c32d49c457417d610792a2aebc2e&chksm=83e903b7b49e8aa10b81fd5f87f3ad412bb3413eae11cf8fb800619c5e1b9e38a880889d78a4&scene=21#wechat_redirect
[RDMA 2]: http://mp.weixin.qq.com/s?__biz=MzAxNzU3NjcxOA==&mid=2650719335&idx=1&sn=58d419bfaab83523092a05edb04450e7&chksm=83e90206b49e8b10979b1559e8652e24d5b885beec2dac7cf8a48da191610ab4deeb7e50620c&scene=21#wechat_redirect
[Infiniband]: http://mp.weixin.qq.com/s?__biz=MzAxNzU3NjcxOA==&mid=2650721504&idx=1&sn=0e59ad0365af067a5c9afda8a235cd52&chksm=83e90a81b49e83972b0f0a5d876086e64593c3cb5e036ed24d64482b8dc55c12743dc4bffea8&scene=21#wechat_redirect
[InfiniBand]: http://mp.weixin.qq.com/s?__biz=MzAxNzU3NjcxOA==&mid=2650723219&idx=1&sn=9d9912f46f92f899fb882f24667c3cb1&chksm=83e915f2b49e9ce45c25df0a3ebf655aabff38e6f57dd1bb1c13c6f76c17c2d6e5b93c01599e&scene=21#wechat_redirect
[200G HDR InfiniBand]: http://mp.weixin.qq.com/s?__biz=MzAxNzU3NjcxOA==&mid=2650727428&idx=1&sn=b8b250b920e85209b0e794c3ea62b59f&chksm=83e92265b49eab7300e26c2d1e7ad008be8d923ee6230db67f0d589babeb637c1e12bfaeff94&scene=21#wechat_redirect
[08500f86b68156e04afbc802adeb173d.png]: /images/20221005/71e7a7ff96eb477c8641c6f2273301e2.png
[4e317c3ebb9d119cfee67cc08c71fe2b.png]: /images/20221005/d611e037d9c14c759d424153d6e07497.png
[Link 1]: https://mp.weixin.qq.com/s?__biz=MzAxNzU3NjcxOA==&tempkey=MTExOF9GbzZFSjkvYUlrUTd6NlorWW9aZDlrUnkxLXJhTlQ4Qzg5VVdSckpiZGlSTDd4RHBEUXJlYzZtLXk4ZmFORVl5R3FvTTJWaVVRVzNVem5mZ1Q1d0YzWjBrNWItNW5aN1BLQ0ptSVlWZnJQVjdzUVJwRnpuQ2FCTk5GYUFOX0lIWGVoTEdFTlgzemRPR2F1Z2FuWExscnpCNTFZSDA5TXlfYWxfbWJRfn4%3D&chksm=03e92d5a349ea44c313a5e34111a24989da2e5ec28a85e4367a0c5db9fab9a6575ca71916f14
[d78a46aa8b25841aa728637fc632548f.png]: /images/20221005/1e9e29f070474adf9331e53af77647b4.png
[25e0145ca70c780e7781c57672014833.png]: /images/20221005/981833f692064099a70b231d1ae7abd7.png
[9c09251a07042f4d7903e76700fe62ab.gif]: /images/20221005/ff20f9e5b04146488e027f633f340b13.png