RoCE网络技术和实现方式

素颜马尾好姑娘i 2022-10-08 05:38 542阅读 0赞

![图片][ebeff2e8687dbdfd54086841e1dc2a20.png]

![图片][7febf7e122189fc0f44196feaf4dfdfd.gif]

在数据为王的时代，人们对网络的要求更加严苛。然而传统的TCP / IP以太网连接占用了大量的CPU资源，并且需要额外的数据处理，已无法再满足当前更快、更高效和可扩展性的网络需求。在这种情况下，RoCE（RDMA over Converged Ethernet ）走进了人们的视野。

![图片][b4513fc4131593d8ab077bbc4692a22e.png]

**什么是RDMA？**

![图片][b4513fc4131593d8ab077bbc4692a22e.png]

RDMA（远程直接数据存取）就是为了解决网络传输中服务器端数据处理的延迟而产生的，无需使用CPU，就可以从一个主机或服务器的内存直接访问另一主机或服务器的内存。它释放了CPU去执行其应做的工作，比如运行应用程序和处理大量数据。这既提高了带宽又降低了延迟、抖动和 CPU 消耗。

![图片][e4f349a07e04680ded5caf4ed39385c6.png]

RDMA技术

因此，RDMA可以简单理解为利用相关的硬件和网络技术，服务器1的网卡可以直接读写服务器2的内存，最终达到高带宽、低延迟和低资源利用率的效果。

如下图所示，应用程序不需要参与数据传输过程，只需要指定内存读写地址，开启传输并等待传输完成即可。

![图片][40a7348104d2769f071d6e37e8ba7c06.png]

目前，大致有三类RDMA网络，分别是Infiniband、RoCE、iWARP。其中，Infiniband是一种专为RDMA设计的网络，从硬件级别保证可靠传输 ，而RoCE 和 iWARP都是基于以太网的RDMA技术，支持相应的verbs接口。

![图片][b4513fc4131593d8ab077bbc4692a22e.png]

**什么是RoCE？**

![图片][b4513fc4131593d8ab077bbc4692a22e.png]

顾名思义，RoCE是在InfiniBand Trade Association（IBTA）标准中定义的网络协议，允许通过以太网络使用RDMA。简而言之，它可以看作是RDMA技术在超融合数据中心、云、存储和虚拟化环境中的应用。

**RoCE的类型**

RoCE协议存在RoCEv1和RoCEv2两个版本，这取决于所使用的网络适配器或网卡。

**RoCE v1**：RoCE v1是基于以太网链路层实现的RDMA协议(交换机需要支持PFC等流控技术，在物理层保证可靠传输)，允许在同一个VLAN中的两台主机进行通信。RoCE V1协议在以太层的typeID是0x8915。

**RoCE v2**：RoCE v2克服了RoCE v1绑定到单个VLAN的限制。通过改变数据包封装，包括IP和UDP标头，RoCE v2现在可以跨L2和L3网络使用。

![图片][7fb0b3394e0d1c95e48ef0982e650f6a.png]

RoCE v1与RoCE v2数据包格式

**如何实现RoCE？**

通常，为了实现RoCE，可以安装支持RoCE的网卡或卡驱动程序。所有以太网NIC都需要RoCE网络适配器卡。RoCE驱动程序在Red Hat、Linux、Microsoft Windows和其他常见操作系统中使用。RoCE有两种可用方式：对于网络交换机，可以选择使用支持PFC(优先流控制)操作系统的交换机；对于机架服务器或主机，需要使用网卡。

![图片][fdb5ba3f7190483fc39061544cee9dc9.png]

**RoCE的好处**

*  低CPU占用率：访问远程交换机或服务器的内存，无需消耗远程服务器上的CPU周期，从而可以充分利用可用带宽和更高的可伸缩性。
 *  零复制：向远程缓冲区发送数据和接收数据。
 *  高效：由于RoCE改善了延迟和吞吐量，网络性能得到了很大提高。
 *  节省成本：借助RoCE，无需购买新设备或更换以太网基础设施即可处理大量数据，从而大大节省了公司的资本支出。

![图片][095417684d6fbb0c6475e8d5fb1df0fe.png]

![图片][b4513fc4131593d8ab077bbc4692a22e.png]

**关于RoCE的常见问题**

![图片][b4513fc4131593d8ab077bbc4692a22e.png]

下面列出了一些有关RoCE的常见问题。

**1. RoCE与iWARP、InfiniBand的技术对比**

RDMA最早在Infiniband传输网络上实现，技术先进，但是价格高昂，后来业界厂家把RDMA移植到传统Ethernet以太网上，降低了RDMA的使用成本，推动了RDMA技术普及。在Ethernet以太网上，根据协议栈融合度的差异，分为iWARP和RoCE两种技术，而RoCE又包括RoCEv1和RoCEv2两个版本(RoCEv2的最大改进是支持IP路由)，各RDMA网络协议栈的对比如下图所示。

![图片][7c0a421472f24f3f377179d323d14bc1.png]

*  Infiniband，支持RDMA的新一代网络协议。由于这是一种新的网络技术，因此需要支持该技术的NIC和交换机。
 *  RoCE，一个允许在以太网上执行RDMA的网络协议。其较低的网络标头是以太网标头，其较高的网络标头（包括数据）是InfiniBand标头。这支持在标准以太网基础设施(交换机)上使用RDMA。只有网卡应该是特殊的，支持RoCE。
 *  iWARP，一个允许在TCP上执行RDMA的网络协议。IB和RoCE中存在的功能在iWARP中不受支持。这支持在标准以太网基础设施(交换机)上使用RDMA。只有网卡应该是特殊的，并且支持iWARP(如果使用CPU卸载)，否则所有iWARP堆栈都可以在软件中实现，并且丧失了大部分RDMA性能优势。

RoCE和iWARP，一个是基于无连接协议UDP，一个是基于面向连接的协议(如TCP)。RoCEv1只能局限在一个二层广播域内，而RoCEv2和iWARP都能够支持三层路由。相比RoCE，在大型组网的情况下，iWARP的大量TCP连接会占用大量的额内存资源，对系统规格要求更高。另外，RoCE支持组播，而iWARP还没有相关的标准定义。

**2. RoCE适配器可以与其他适配器类型（例如iWARP）通信吗？**

RoCE适配器只能与其他RoCE适配器通信，如果混合适配器类型配置的话，例如RoCE适配器与iWARP适配器组合，都可能会恢复为传统的TCP / IP连接。

![图片][b4513fc4131593d8ab077bbc4692a22e.png]

**结论**

![图片][b4513fc4131593d8ab077bbc4692a22e.png]

在数据中心中运行RDMA，可以减轻数据移动的负担，并为应用程序提供更高的CPU资源可用性。RoCE协议可以从RDMA的功能中受益，而无需更改其网络基础架构。通过减少以太网延迟和CPU开销，RoCE可以提高搜索、存储、数据库和高事务处理率应用程序的性能。通过提高CPU效率和应用程序性能，RoCE可以减少所需的服务器数量，从而节省能源，并减少基于以太网的数据中心的占用空间。

**推荐阅读：**

[重发：终极版服务器基础知识（附PDF下载）][PDF]

原文链接：

https://community.fs.com/blog/roce-rdma-over-converged-ethernet.html

[RDMA技术原理分析、主流实现对比和解析][RDMA]

转自：SDNLAB

![图片][d78a46aa8b25841aa728637fc632548f.png]

**转载申明：转载**本号文章请**注明作者**和**来源**，本号发布文章若存在版权等问题，请留言联系处理，谢谢。

**推荐阅读**

更多**架构相关技术**知识总结请参考“**架构师技术全联盟书店**”相关电子书(**37本****技术资料打包汇总详情**可通过“**阅读原文**”获取)。

全店内容持续更新，现下单“**架构师技术全店打包汇总(全)**”，后续可享**全店**内容更新“**免费**”赠阅，价格仅收**198**元(原总价35**0**元)。

**温馨提示：**

扫描**二维码**关注公众号，点击**阅读原文**链接获取**“****架构师技术全店资料打包汇总(全)**”电子书资料详情。

![图片][25e0145ca70c780e7781c57672014833.png]

![图片][9c09251a07042f4d7903e76700fe62ab.gif]

[ebeff2e8687dbdfd54086841e1dc2a20.png]: /images/20221005/c1debd6b539443a7a49d680b31d84b3f.png
[7febf7e122189fc0f44196feaf4dfdfd.gif]: /images/20221005/1f9492570d46428abf1a5b2cd5a2a5c0.png
[b4513fc4131593d8ab077bbc4692a22e.png]: /images/20221005/3085fb89ba2f47898109a3406ce67190.png
[e4f349a07e04680ded5caf4ed39385c6.png]: /images/20221005/610aaadd1c9f44fdbe19f6653ee6cd70.png
[40a7348104d2769f071d6e37e8ba7c06.png]: /images/20221005/88e25fafa6ac41b19398f4e5b75e66aa.png
[7fb0b3394e0d1c95e48ef0982e650f6a.png]: /images/20221005/74ef57ad6e184014a561b87912bc8907.png
[fdb5ba3f7190483fc39061544cee9dc9.png]: /images/20221005/0f87daf5965345edba0663c699b1a98a.png
[095417684d6fbb0c6475e8d5fb1df0fe.png]: /images/20221005/72206633e5bb43b9ab3b1c3300295236.png
[7c0a421472f24f3f377179d323d14bc1.png]: /images/20221005/b5757485ab9d43ceb32002e7879a043a.png
[PDF]: http://mp.weixin.qq.com/s?__biz=MzAxNzU3NjcxOA==&mid=2650727543&idx=1&sn=8636dd36a1681bbfd0f44312a000ea64&chksm=83e92216b49eab003533a1dafd4f5cc8309dec9dc7552f2f4ee0d2f877936b69892615d99f3d&scene=21#wechat_redirect
[RDMA]: http://mp.weixin.qq.com/s?__biz=MzAxNzU3NjcxOA==&mid=2650717547&idx=1&sn=cce9796eb78ca891319a0417035c3253&chksm=83e97b0ab49ef21c69a447a13e71a917072b8eaa488e34e0a455f9f27337706b757990c82abf&scene=21#wechat_redirect
[d78a46aa8b25841aa728637fc632548f.png]: /images/20221005/fc7f485a53c840a29d639b3a41758ca6.png
[25e0145ca70c780e7781c57672014833.png]: /images/20221005/5152d513b8c1469291d558ee17fe170a.png
[9c09251a07042f4d7903e76700fe62ab.gif]: /images/20221005/521771a9eac54a66b367e430df30290b.png