本文分享自天翼云开发者社区《 RDMA网络实践》，作者: 邢 **** 典
https://www.ctyun.cn/developer/article/411411379961925
RDMA（Remote Direct Memory Access）是远程直接内存访问技术，由于其低时延，低CPU占用等优势，被广泛的应用在分布式存储或计算系统中。DMA技术是一种单机内的高速数据传输技术，通常由DMA控制器来控制数据的传输流程，释放了CPU资源，而RDMA技术是一种借助IB网卡实现远程高数数据传输的技术。
常用的 IB网卡厂商有Mellanox，Intel。此处以Mellanox网卡实践，如下图所示test节点上有两块双端口Mellanox网卡，其中MT27800是100GE网卡，MT27710是25GE网卡，且已经工作在RoCE模式或TCP模式
搭建 RoCEv2测试网络的步骤如下
1. 在 Mellanox官网找到IB网卡的OFED驱动安装包
2. 安装 OFED驱动安装包
OFED安装包中提供的rpm安装包只支持部分内核版本，如果本机内核版本不匹配需要先安装对应的kernel-devel包，然后执行./mlnx_add_kernel_support.sh -m $OFED_DIR --make-tgz -t /tmp/基于该内核开发包编译得到rpm安装包，该命令会在/tmp目录生成新的OFED_DIR目录，在该OFED_DIR目录执行./mlnxofedinstall --force完成安装。
其中 $OFED_DIR替换成OFED安装包解压后的目录
1. 配置 IB网卡运行在RoCEv2或IB模式
使用
/etc/init.d/openibd restart启动openibd服务后，可以看到系统多出了很多OFED提供的命令
2. 测试 RoCEv2网络包收发
通过 rping或ib_send_bw命令可以测试RoCEv2或IB网络包收发。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/70014251/viewspace-2951060/ ，如需转载，请注明出处，否则将追究法律责任。
