在InfiniBand网络中，ib网络地址的配置是节点间通信的基础，安装IB驱动则可根据实际需求灵活选择，但建议在多数高性能场景中执行安装以获得最佳性能。
ib网络地址怎么配置？从零开始的操作指南
了解ib网络地址：IPoIB协议
ib网络地址本质上是IP over InfiniBand（IPoIB）协议赋予的地址，它让InfiniBand网络能够运行标准的TCP/IP协议，每个InfiniBand端口可以拥有一个或多个ib网络地址,用于路由和通信。
配置ib网络地址的详细步骤
- 检查硬件状态：使用
ibstat命令查看InfiniBand网卡状态，确认端口处于Active状态，并记录端口GUID，输出显示CA: 'mlx5_0'，端口1状态为Active。 - 加载必要模块：确保内核加载了
ib_ipoib、ib_umad、ib_uverbs等模块，可通过lsmod | grep ib检查，若缺少，使用modprobe ib_ipoib加载。 - 创建子网接口（可选）：根据子网前缀（P_Key）创建子接口，用于隔离不同网络。
echo 0x8001 > /sys/class/net/ib0/create_child，生成ib0.8001接口。 - 分配IP地址：使用
ip addr add 192.168.1.1/24 dev ib0，或编辑网络配置文件（如/etc/sysconfig/network-scripts/ifcfg-ib0），设置静态IP，对于持久化,建议写入配置文件。 - 启动接口：
ip link set ib0 up，然后使用ifconfig ib0或ip a show ib0确认地址生效。 - 验证连通性：通过
ping命令测试与同一子网内其他InfiniBand节点的连通性，注意MTU设置可能影响大包传输。ping -c 4 192.168.1.2。
配置中的常见场景与技巧
- 多IP配置：在同一InfiniBand端口上绑定多个IP地址，用于不同服务，如管理网络和存储网络，使用
ip addr add 192.168.2.1/24 dev ib0
- 使用NetworkManager：在RHEL/CentOS中，可通过
nmcli工具管理ib连接，nmcli con add type infiniband con-name ib0 ifname ib0 ip4 192.168.1.1/24。 - 子网前缀选择：P_Key的值范围是0x0000-0xFFFF，常用0x8001作为默认，确保所有节点使用相同P_Key，在HPC场景中,根据需要选择不同的P_Key实现网络隔离。
- MTU调整：InfiniBand链路MTU通常为4092，IPoIB默认MTU为2044，可通过
ip link set dev ib0 mtu 2044调整，提高吞吐量，在高速计算场景中,增加MTU可提升性能。
常见配置错误及解决
- 错误：ping不通：检查子网前缀是否一致，使用
ibstat查看P_Key值,另一常见原因是防火墙未放行IPoIB流量。 - 错误：接口未启动：使用
ip link show ib0确认状态，若为DOWN,检查模块加载和硬件连接。 - 错误：MTU不匹配：确保通信双方MTU一致,或设置为标准值避免碎片。
ib驱动安装教程：可选但关乎性能
默认驱动 vs 官方驱动：如何选择？
大多数Linux发行版包含OpenFabrics内核驱动，提供基础InfiniBand功能，但官方驱动（如Mellanox OFED）在此基础上增加RDMA、GPU Direct等高级特性，并针对特定硬件优化。业内专家指出，在低延迟敏感的应用中，官方驱动能减少延迟，提升整体效率。行业共识认为，官方驱动在复杂负载下表现更稳定,但安装过程需要更多操作。
哪些场景建议安装官方驱动？
- 高性能计算（HPC）：需要极致性能，使用MPI over InfiniBand,官方驱动提供更好的MPI支持。
- 存储网络：需要RDMA以降低存储访问延迟，如NVMe over Fabrics。
- 机器学习训练：需要GPU Direct与InfiniBand结合,减少数据传输瓶颈。
- 虚拟化环境：需要SR-IOV等高级功能,官方驱动支持更完整。
安装官方驱动的步骤（以Mellanox为例）
- 下载驱动：从Mellanox官网获取
MLNX_OFED或mlnx-en包，选择与操作系统版本匹配的版本。MLNX_OFED_LINUX-5.8-1.1.2.1-rhel8.6-x86_64.tgz。 - 安装依赖：
yum install -y kernel-devel kernel-headers gcc make perl（Ubuntu使用apt-get install）。 - 运行安装脚本：
./mlnxofedinstall --distro rhel8.6 --force（--force覆盖现有驱动，需谨慎）,脚本会自动编译内核模块。 - 处理冲突：安装过程中可能提示卸载旧驱动，脚本会自动处理，但建议备份重要配置，如网卡配置文件和
/etc/infiniband。 - 重启并验证：
reboot后，使用ibstatus查看驱动版本，使用ibv_devinfo查看端口信息,确认驱动正确加载。 - 可选配置：启动
rdma服务并设置systemctl enable rdma，对于GPU Direct，还需配置nvidia-persistenced。
驱动安装后的测试
- 延迟测试：使用
ibping -c 1000 -s 64测试节点间延迟,记录平均延迟。 - 带宽测试：使用
ib_write_bw -d mlx5_0 -p 1测试带宽,与官方文档对比。 - 功能验证：使用
ibv_devinfo和ibstat确认驱动功能正常,检查端口速率和状态。
国内服务器ib网络配置实践
场景1：企业数据中心
在国内许多企业数据中心，构建InfiniBand网络时，通常采用静态ib网络地址分配，配合官方驱动以利用
RDMA的延迟优势，在成本方面，驱动本身免费，但维护成本需考虑，性价比取决于应用需求，在服务器集群中，配置ib网络地址时，建议使用独立子网隔离管理流量。
场景2：云服务提供商
部分国内云厂商提供InfiniBand实例，其ib网络地址配置方式与物理服务器类似，用户可通过控制台或API设置，安装驱动时，需注意云环境的内核限制，可选性更加明显,因为云厂商可能已预配置驱动。
常见问题：ib网络地址配置与驱动安装
配置ib网络地址时，子网前缀（P_Key）必须一致吗？
是的，所有通信节点必须使用相同的P_Key，否则无法通信，P_Key通过echo 0x8001 > /sys/class/net/ib0/create_child创建，确保一致性是配置的前提，在交换机中,也需要配置对应的P_Key。
不安装官方驱动，使用默认驱动能实现RDMA吗？
默认驱动通常包含基本RDMA模块，但可能未启用或功能受限，要实现完整的RDMA功能，建议安装官方驱动，尤其是在需要GPU Direct等高级特性时，默认驱动在多数情况下可以满足基本通信,但性能可能无法达到硬件上限。
安装IB驱动后，如何验证驱动是否正常工作？
使用ibstatus命令查看所有InfiniBand端口的状态，包括链路速率、端口状态，使用ibv_devinfo查看设备详细信息，确认驱动版本，运行ibping测试节点间通信延迟，确保驱动正常工作，如果延迟异常,检查链路质量和MTU设置。
ib网络地址的配置是InfiniBand网络的基础，安装IB驱动则是对性能的进一步挖掘，根据实际场景选择是否安装官方驱动，是优化网络体验的关键。 正确配置ib网络地址，并根据需求决定驱动安装，可以平衡性能与维护成本,确保InfiniBand网络高效运行。
首发原创文章，作者：王坚，如若转载，请注明出处：https://idctop.com/article/576387.html
