基于InfiniBand Verbs和MAD的高性能文件传输程序设计与实现
摘要
本文介绍一个完全基于InfiniBand原生通信协议栈实现的点对点文件传输程序。该程序摒弃了传统的TCP/IP控制通道，首次使用MAD（Management Datagram）在IB管理平面完成连接建立所需的参数交换，随后通过RC（Reliable Connection）类型QP进行批量数据传输。实验表明，该方案能够充分利用InfiniBand的高带宽和低延迟特性，实现接近线速的文件传输性能。
1. 引言
InfiniBand作为一种高带宽、低延迟的互连技术，广泛应用于高性能计算和数据中心。典型的IB应用需要结合套接字或 librdmacm 来交换连接信息（如LID、QPN、PSN等），这引入了一定的协议栈开销和配置复杂性。本文实现了一个极简但功能完整的文件传输工具，其独特之处在于：
- 完全摆脱IP协议栈：不使用TCP/UDP，所有控制信息通过IB管理数据报（MAD）交换。
- 纯Verbs API实现：直接操作ibv_*系列函数，无额外封装。
- 全双工可靠传输：基于RC QP，保证数据有序无损。
- 环境自适应性：假定两台直连的IB设备LID分别为1和2，自动推断对端LID。
本文将从架构设计、核心数据结构、MAD通信、QP状态机、数据传输流程等方面详细剖析该程序的实现原理，并展示性能测试结果。