NVIDIA DGX B300 集群布线方案详解：InfiniBand 与 RoCE 网络部署指南

引言

作为 NVIDIA 新一代 AI 基础设施平台，DGX B300 支持 InfiniBand 与 RoCE（RDMA over Converged Ethernet）两种网络架构部署，以适配不同数据中心在性能、成本与生态兼容性方面的需求。

两种方案均可为 DGX B300 提供高性能 GPU 互联能力，但在交换机选型、网络拓扑、链路设计及光模块部署方式上存在显著差异。

为帮助用户更好地完成 AI 集群网络规划，本文基于搭载 ConnectX-8 网卡的 DGX B300 平台，重点介绍 InfiniBand 与 RoCE 两种架构下的计算网络和存储网络布线设计，并对关键网络组件及光链路部署方案进行分析，为实际项目建设提供参考。

基于 InfiniBand 协议的 DGX B300 集群布线方案

计算网布线设计

计算网采用轨道优化的胖树拓扑，用于在多节点 GPU 训练中提供非阻塞通信能力。分为 Leaf 层与 Spine 层两级交换机部署模式，以可扩展单元（SU）作为基础部署模块。核心交换机选用 Quantum-X800 Q3400 InfiniBand 交换机。

本方案中的8个SU，包含576个节点（每SU 72个节点），配套部署64台Leaf层交换机与36台Spine层交换机。集群支持后续按 SU 单元进行规模化扩展，以适应超大规模 AI 训练的算力增长需求。

计算网采用全光链路部署，基于 800 Gbps XDR InfiniBand 标准，核心链路类型如下：

1. DGX B300 ↔ Leaf：交换机侧使用1.6T 2xDR4 OSFP224（MMS4A00-XM/MMS4C10-XM）光模块搭配两根光纤线缆，每根MPO-12 APC多模光纤线缆连接到一个800G DR4 OSFP224（MMS4A20-XM800）光模块。实现DGX B300至 Leaf 交换机的高效互连。
2. Leaf ↔ Spine：通过1.6T 2xDR4 OSFP224（MMS4A00-XM/MMS4C10-XM）光模块和两根MPO-12 APC单模光纤线缆，实现 Leaf 至 Spine 交换机间的互联。

在 8 SU 配置（576 台 DGX B300 节点，4,608 颗 GPU）中，计算网络部分所涉及的光互连组件如下所示，MPO 光缆数量约为 9,216 条（可根据实际规模进行灵活调整）。

存储网布线设计

存储网采用 NDR InfiniBand 方案，基于 Leaf-Spine 两级拓扑架构部署，核心设备为 Quantum QM9700 InfiniBand 交换机。

存储网 NDR InfiniBand 方案核心光链路设计如下：

1. DGX B300 ↔ Leaf：使用 400G SR4 OSFP（MMA4Z00-NS400）光模块，搭配 MPO-12 APC 多模光纤线缆，实现 DGX B300 与 Leaf 交换机之间的高速互联。
2. Leaf ↔ Spine 长距（≤500m）：在长距互联场景中，Leaf 与 Spine 交换机之间通过 400G DR4 OSFP（MMS4X00-NS400）光模块配合 MPO-12 APC 单模光纤线缆实现连接。
3. Leaf ↔ Spine 短距（≤50m）：该链路采用 400G SR4 OSFP（MMA4Z00-NS400）光模块，结合两根 MPO-12 APC 多模光纤线缆进行构建，用于实现 Leaf 与 Spine 之间的短距高速互联。

8 SU 配置下光链路组件配套 MPO 光缆数量约为 2,304 条（实际数量可根据收敛比灵活变化）。

基于 RoCE 协议的 DGX B300 集群布线方案

计算网布线设计

计算网为两层双平面胖树结构，包含 Leaf 层和 Spine 层，同样采用轨道优化连接方式，以可扩展单元（SU）为基础模块。

核心交换机选用 SN5610 以太网交换机。由于 ConnectX-8 网卡当前不支持 800G 以太网单端口，因此采用多平面设计方案：每个 800G 网卡拆分为 2×400G 端口，两个端口各自构成独立通信平面，因此后端计算网络实际为 2 个并行、互相独立的 400G 以太网网络（即双平面架构）。

本方案中的8个SU包含512个节点（每SU 64个节点），配套部署128台Leaf层交换机与64台Spine层交换机，集群整体支持后续按SU单元进一步规模化扩展，以满足超大规模AI训练的算力扩容需求。

RoCE 方案同样采用全光链路部署，具体连接方式如下：

1. DGX B300 ↔ Leaf：服务器侧配置400G SR4 OSFP光模块，借助两根 MPO-12 APC 多模光纤与交换机侧的800G 2xSR4 OSFP光模块相连，最终完成DGX B300到 Leaf 交换机之间的高速互连部署。
2. Leaf ↔ Spine 长距（≤500m）：使用800G 2xDR4 OSFP光模块和两根MPO-12 APC单模光纤线缆来实现 Leaf 至 Spine 交换机间的高速互联。
3. Leaf ↔ Spine 短距（≤50m）：当Leaf与Spine交换机之间的部署距离在50米以内时，则改用800G 2xSR4 OSFP光模块与两根MPO-12 APC多模光纤线缆实现互联。

在 8 SU 配置（512 台 DGX B300，4,096 颗 GPU）的计算网络中，核心光链路配套 MPO 光缆数量约为 8,192 条（实际规模可按需求灵活调整）。

存储网布线设计

存储网与计算网物理隔离，采用独立的两层 Leaf-Spine 结构。每台 DGX B300 服务器通过 2 个 400G QSFP 端口接入存储网 Leaf 层。Leaf 至 Spine 之间采用 800G 链路（两条 400G 并行）以提供更高的汇聚带宽。

链路连接规范：

1. DGX B300 ↔ Leaf：交换机侧采用 800G 2×400G SR4 OSFP 光模块，通过两根 MPO-12 APC 多模光纤分别连接服务器侧 400G SR4 OSFP 光模块。实现DGX B300至 Leaf 交换机的高效互连。
2. Leaf ↔ Spine 长距（≤500m）：采用 800G 2×DR4 OSFP 光模块，配合两根 MPO-12 APC 单模光纤跳线，用于实现 Leaf 与 Spine 之间的远距离互联。
3. Leaf ↔ Spine 短距（≤50m）：使用800G 2xSR4 OSFP光模块和两根MPO-12 APC多模光纤线缆来实现 Leaf 至 Spine 交换机间的互联。

8 SU 配置下存储网络配套 MPO 光缆约 2,048 条。

结论

从布线方案的对比可以看出，DGX B300 集群无论是选择 InfiniBand 还是 RoCE 架构，其对光通信核心组件（如MPO 跳线、单/多模收发器）的需求规模均极为庞大。在实际落地部署中，数据中心设计人员需综合考量集群扩展规模、收敛比预算、长短距传输环境以及原有基础设施的兼容性，从而选择最匹配的物理高密布线方案。