[RDMA] RDMA 初步使用操作

淩亂°似流年 2022-05-18 02:24 264阅读 0赞

本小节只适用于 InfiniBand 设备。因为 iWARP 和 RoCE/IBoE 设备是基于 `IP` 的设备，用户应在配置 IPoIB 且设备有 `IP` 地址后，按照执行 RDMA 测试操作一节的内容进行测试。

## 1. InfiniBand 设备信息 ##

启用 `rdma` 服务和 **opensm** 服务（若需要），并为具体硬件安装适当的用户空间库后，就可以进行用户空间 `rdma` 操作。

service opensmd start

libibverbs-utils 软件包中的简单测试程序可帮助您确定 RDMA 操作是否正常。**ibv\_devices** 程序显示该系统中目前所有设备，而 `ibv_devinfo` 命令会给出每个设备的具体信息。例如：

[root@node24 ~]# ibv_devices 
        device          	   node GUID
        ------          	----------------
        mlx4_0          	46d2c92000004820

[root@node25 ~]# ibv_devices 
        device          	   node GUID
        ------          	----------------
        mlx4_0          	46d2c92000003500

使用ibstat命令显示InfiniBand的具体信息：

[root@node24 ~]# ibstat
    CA 'mlx4_0'
    	CA type: MT4099
    	Number of ports: 1
    	Firmware version: 2.30.3000
    	Hardware version: 0
    	Node GUID: 0x46d2c92000004820
    	System image GUID: 0x46d2c92000004823
    	Port 1:
    		State: Active
    		Physical state: LinkUp
    		Rate: 56
    		Base lid: 72
    		LMC: 0
    		SM lid: 49
    		Capability mask: 0x02514868
    		Port GUID: 0x46d2c92000004821
    		Link layer: InfiniBand
    [root@node24 ~]#

[root@node25 ~]# ibstat
    CA 'mlx4_0'
    	CA type: MT4099
    	Number of ports: 1
    	Firmware version: 2.30.3000
    	Hardware version: 0
    	Node GUID: 0x46d2c92000003500
    	System image GUID: 0x46d2c92000003503
    	Port 1:
    		State: Active
    		Physical state: LinkUp
    		Rate: 56
    		Base lid: 53
    		LMC: 0
    		SM lid: 49
    		Capability mask: 0x0251486a
    		Port GUID: 0x46d2c92000003501
    		Link layer: InfiniBand

`ibv_devinfo` 和 `ibstat` 命令输出信息稍有不同（比如端口 MTU 信息是在 `ibv_devinfo` 而不是 `ibstat` 输出中显示，而端口 PUID 信息是在 `ibstat` 而不是 `ibv_devinfo` 输出中显示。同时有些信息的命名方式也不同，例如：`ibstat` 输出中的基础*本地标识符*（LID）与 `ibv_devinfo` 输出中的 `port_lid` 是相同的信息。

## 2. ibping程序 实现客户端/服务器模式 ##

可使用简单的 ping 程序，比如 infiniband-diags 软件包中的 **ibping** 测试 RDMA 连接性。**ibping** 程序采用客户端/服务器模式。必须首先在一台机器中启动 **ibping** 服务器，然后再另一台机器中将 **ibping** 作为客户端运行，并让它与 **ibping** 服务器相连。因为我们是要测试基础 RDMA 功能，因此需要用于 RDMA 的地址解析方法，而不是使用 `IP` 地址指定服务器。

在服务器机器中，用户可使用 `ibv_devinfo` 和 `ibstat` 命令输出 `port_lid`（或基础 lid）以及所要测试端口的端口 GUID（假设是上述接口的端口 1，则 `port_lid`/`基础 LID` 是 49，而端口 GUID 是 `0x46d2c92000004821`）。然后使用所需选项启动 **ibping** 捆绑至要测试的网卡和端口，同时还要指定 **ibping** 以服务器模式运行。使用 `-?` 或者 `--help` 选项即可查看 **ibping**的所有可用选项，但在这个实例中可使用 `-S` 或 `--Server` 选项，同时在绑定到具体网卡和端口时可使用 `-C` 或者 `--Ca` 以及 `-P` 或者 `--Port` 选项。注：这个实例中的端口不会指示端口号，但会在使用多端口网卡时指示物理端口号。要测试所使用 RDMA 结构的连接性，比如多端口网卡的第二端口，则需要让 **ibping** 捆绑至网卡的端口 49。使用单一端口网卡时不需要这个选项。例如：

[root@node25 ~]#  ibping -S -C mlx4_0 -P 1

然后切换至客户端机器并运行 **ibping**。记录 **ibping** 程序所绑定端口的端口 GUID 或者 **ibping**程序所绑定服务器端口的 *本地标识符*（LID）。另外，还需要记录客户端机器中与服务器为所捆绑网卡和端口连接网络相同的网卡和端口。例如：如果服务器中第一网卡的第二端口所捆绑的网络是辅 RDMA 结构，那么就需要在客户端中指定一个也连接到第二结构的网卡和端口。完成配置后，请作为客户端运行 **ibping** 程序，使用在服务器中找到的端口 LID 或者 GUID 作为地址连接到服务器。例如：

[root@node24 ~]#  ibping -c 10000 -f -C mlx4_0 -P 1 -L 49

[root@node24 ~]#  ibping -c 10000 -f -C mlx4_0 -P 1 -L 49
    
    ---  (Lid 49) ibping statistics ---
    10000 packets transmitted, 0 received, 100% packet loss, time 398 ms
    rtt min/avg/max = 0.000/0.000/0.000 ms

这个结果会验证端到端 RDMA 通讯是否在用户空间应用程序中正常工作。