IPoIB（IP over InfiniBand）是InfiniBand网络协议栈中的一层，它允许传统IP应用在InfiniBand网络上运行，同时保留RDMA和高带宽特性，是高性能计算和AI集群中不可或缺的网络驱动方案。
IPoIB是什么？它如何工作？
IPoIB，全称IP over InfiniBand，是一种将IP协议封装在InfiniBand网络上传输的技术，它通过IPoIB驱动在内核中实现，使得IP数据包能够通过InfiniBand的物理层和链路层进行传输，在InfiniBand网络中，IPoIB为那些不支持RDMA的传统应用提供了兼容性,同时仍能利用InfiniBand的高速优势。
工作原理上，IPoIB在InfiniBand的通信管理（CM）上建立连接，将IP数据包封装在InfiniBand的传输帧中，每个IPoIB接口需要一个唯一的IP地址，并通过InfiniBand的Partition Key（PKey）进行逻辑隔离，确保不同租户之间的网络隔离，IPoIB支持三种模式：IPoIB-over-IB（默认）、IPoIB-over-UDP和IPoIB-over-TCP，其中最常见的是IPoIB-over-IB，它直接使用InfiniBand的可靠连接（RC）或不可靠数据报（UD）服务。
关键点包括：
- IPoIB接口通常命名为ib0、ib1等,类似以太网的eth0。
- 需要加载内核模块ib_ipoib,该模块通常包含在Linux内核的InfiniBand驱动中。
- 数据包在InfiniBand网络上传输时，IPoIB头部会添加特定的封装信息,长度约为4字节。
- 支持IPoIB的InfiniBand设备需要相应的固件与驱动配合，通常由设备厂商（如NVIDIA、华为）提供。
与原生InfiniBand的RDMA相比，IPoIB增加了协议栈开销，但仍远低于传统以太网TCP/IP的开销,因此在很多场景下成为平衡性能和兼容性的选择。
IPoIB配置步骤详解
配置IPoIB网络并不复杂，但需要遵循正确的步骤，以下是通用配置流程,适用于大多数InfiniBand环境。
IPoIB驱动下载与安装
确保系统安装正确的InfiniBand驱动，对于Mellanox（现NVIDIA）网卡，可以从其官网下载OFED驱动包，或者使用Linux发行版自带的驱动包，在CentOS/RHEL上,通过yum安装：
-
yum install infiniband-diags librdmacm libibverbs
对于较新的内核，建议使用开源驱动mlx4_core（ConnectX-3/4）或mlx5_core（ConnectX-5及以上），它们已经包含IPoIB支持，驱动下载时，注意选择与操作系统版本和内核版本匹配的驱动包，对于国内用户，可以访问厂商的国内镜像站，例如部分厂商在深圳设有技术支持中心，提供本地化下载服务，下载后,根据安装指南执行：
- ./install.pl
或使用rpm包安装。
配置IPoIB接口
加载IPoIB内核模块：
- modprobe ib_ipoib
确认模块加载后,查看InfiniBand设备状态：
- ibstat
或 - ibv_devinfo
假设设备端口状态为Active，物理链接正常，然后配置IPoIB接口的IP地址,假设接口名为ib0：
- ip addr add 192.168.1.1/24 dev ib0
- ip link set ib0 up
如果需要设置PKey进行分区隔离，通过sysfs接口设置,例如PKey为0x8001：
- echo 0x8001 > /sys/class/net/ib0/device/ibpkey
注意，PKey必须在InfiniBand交换机上对应配置，且通信双方必须使用相同的PKey，在一些大型数据中心，如国内一线城市（北京、深圳）的算力集群，PKey配置是隔离多租户的关键步骤,确保网络流量不会跨租户通信。
验证网络连通性
配置完成后,使用ping命令测试IP层连通性：
- ping -c 4 192.168.1.2
如果能够ping通，说明IPoIB配置成功，如果ping不通,常见原因包括：
- PKey不匹配
- 防火墙（iptables）阻止ICMP
- 子网掩码配置错误
- InfiniBand交换机端口未配置对应分区
使用ibstat和ibswitches可以帮助诊断物理层和链路层状态。
持久化配置
为了每次启动自动配置，可以将网络参数写入配置文件，在RHEL/CentOS中，创建/etc/sysconfig/network-scripts/ifcfg-ib0,内容示例：
- DEVICE=ib0
- BOOTPROTO=static
- IPADDR=192.168.1.1
- NETMASK=255.255.255.0
- ONBOOT=yes
-
PKEY=0x8001
然后重启网络服务或重启机器。
IPoIB应用场景与性能优势
IPoIB广泛应用于高性能计算（HPC）和AI训练集群，它允许传统的TCP/IP应用（如NFS、数据库、分布式存储）利用InfiniBand的高速特性，行业共识认为，在需要大规模并行计算的场景中，IPoIB是一种成熟且稳定的网络驱动方案,尤其适合MPI通信的传输层。
性能优势体现在：
- 高带宽：目前InfiniBand单端口可达400Gbps，IPoIB能够充分利用这一带宽,远高于普通以太网。
- 低延迟：IPoIB的数据包延迟通常在1-5微秒，而千兆以太网延迟在50微秒以上,对于延迟敏感的应用至关重要。
- CPU卸载：IPoIB驱动支持硬件卸载，如TCP分片卸载（TSO）和校验和卸载，减少CPU负载,提高整体效率。
- 兼容性：无需修改应用即可使用现有IP协议栈,迁移成本低。
应用场景包括：
- 高性能计算集群：用于MPI通信,加速科学计算和模拟。
- 人工智能训练：在GPU集群中，IPoIB常用于数据并行时的梯度交换,具有高吞吐和低延迟优势。
- 存储网络：作为NFS或iSCSI的传输层，提供高速共享存储访问,支持大规模分布式存储系统。
- 数据中心互联：连接多个机架，构建低延迟网络,用于数据库集群和分布式应用。
IPoIB与RoCE对比：如何选择？
IPoIB和RoCE（RDMA over Converged Ethernet）都是实现RDMA的技术，但底层网络不同，IPoIB基于InfiniBand，需要专用网卡和交换机；RoCE基于以太网，可以在普通以太网络上运行,但需要支持DCB的交换机来保证无丢包。
下表对比两者关键特性：
| 特性 | IPoIB | RoCE |
|---|---|---|
| 底层网络 | InfiniBand | 以太网（需DCB） |
| 延迟 | 极低（通常1-5微秒） |
较低（2-10微秒，受拥塞影响） |
| 带宽 | 最高400Gbps | 目前最高400Gbps |
| 成本 | 硬件成本较高，需要专用设备 | 利用现有以太网，成本较低 |
| 兼容性 | 需要专用驱动和固件 | 与标准以太网兼容，但需要RoCE网卡 |
| 部署难度 | 需要特异性配置，如PKey | 与以太网集成较易，但需保证DCB配置 |
选择时，如果已经拥有InfiniBand基础设施，IPoIB是自然的选择；如果希望利用现有以太网升级，RoCE可能更经济，对于新建的HPC集群，追求极致性能与稳定性，IPoIB通常更受青睐，业内专家指出，在延迟敏感的应用中，IPoIB的确定性延迟优于RoCE,因为RoCE对以太网拥塞控制依赖较大。
IPoIB常见问题与解答
问：IPoIB驱动下载哪里找？
答：可以从InfiniBand设备厂商的官方支持页面下载，例如NVIDIA（Mellanox）的OFED驱动包，或者使用开源Linux内核自带的驱动（已包含ib_ipoib模块），对于长期稳定版本，建议使用厂商提供的驱动包,以确保兼容性和性能优化。
问：IPoIB配置时为什么无法ping通？
答：最常见的原因包括PKey不匹配、IP地址不在同一子网、防火墙规则拦截、或者InfiniBand交换机未正确配置分区，检查时，先确认ib0接口状态为UP，然后使用ibstat查看端到端状态，最后用ping测试，如果PKey错误，即使链路层正常,IP层也会不通。
问：IPoIB和普通以太网有什么区别？
答：IPoIB运行在InfiniBand网络上，提供更高的带宽和更低的延迟，但需要专用硬件和驱动，普通以太网则更通用，成本较低，但性能上限低于InfiniBand，对于需要极致性能的HPC场景，IPoIB是优先选择，而对于通用办公网络,以太网更合适。
IPoIB作为InfiniBand网络中的IP兼容层，是连接传统应用与高性能网络的关键桥梁，掌握其配置与优化，能够充分发挥InfiniBand的潜力,提升集群整体性能。
首发原创文章，作者：王坚，如若转载，请注明出处：https://idctop.com/ib%e7%bd%91%e7%bb%9c%e9%a9%b1%e5%8a%a8_ipoib%e5%8a%9f%e8%83%bd%e7%ae%80%e4%bb%8b/
