InfiniBand 网络解决方案

Blackwell架构简介

随着 AI 模型规模从千亿参数迈向万亿参数,从训练到推理、从大语言模型到多模态生成式 AI 的全面演进,对算力、显存、互联带宽和能效提出了前所未有的要求。NVIDIA Blackwell 架构应运而生,以著名数学家、统计学家 David Blackwell 的名字命名,专为生成式 AI 和加速计算打造,在 Hopper 架构成功的基础上实现了代际跃升。

Blackwell 架构 GPU 拥有 2080 亿个晶体管,采用台积电定制 4NP 工艺制造。通过双芯片封装设计,两颗光刻极限尺寸的裸片经由 10 TB/s 的 NV-HBI 片间互联组成统一 GPU。第五代 Tensor Core 配合第二代 Transformer Engine,原生支持 NVFP4 混合精度;HBM3e 显存子系统提供更高带宽与容量;第五代 NVLink 则大幅提升多 GPU 及跨节点集群扩展能力。

核心突破点

NVFP4 原生混合精度计算与第二代 Transformer 引擎

Blackwell 架构原生支持 NVFP4 低精度格式,在保持与 FP8 相当准确性的同时显著提升推理吞吐与能效。第二代 Transformer Engine 结合微张量缩放技术,优化大语言模型和多专家模型的训练与推理效率,降低显存占用。

双芯片封装与协同计算

采用双芯片(Dual-Die)封装,通过 10 TB/s NV-HBI 高速互联将两颗相同计算裸片整合为统一 GPU,突破单芯片面积限制,晶体管规模较上一代 Hopper 大幅提升,算力密度与能效同步跃升。

NVLink 5.0 超高速互联与网络优化

第五代 NVLink 提供高达 1.8 TB/s 双向带宽,支持 NVLink Switch 实现万卡级集群线性扩展,显著降低多 GPU 训练中的通信瓶颈,为 NCCL 集合通信提供更强互联底座。

HBM3e 高带宽大容量显存子系统

升级至 HBM3e 显存,提供高达 8 TB/s 带宽,单卡容量可达 192 GB 至 288 GB,满足万亿参数模型训练与大规模推理对显存容量和吞吐的双重需求。

增强型安全多实例隔离与机密计算

提供硬件级安全隔离能力,支持 MIG 多实例 GPU 技术及机密计算特性,满足多租户云环境与敏感数据场景下的算力共享与数据保护需求。

GPU型号

Blackwell 架构(B 系列)

B300 是 B200 的旗舰增强升级款,延续 Blackwell 架构与统一软硬件生态、兼容原有 B200 服务器集群,重点针对显存容量、算力密度做全方位强化的顶级 AI 算力显卡。搭载288GB HBM3e 超大容量显存(12 层堆叠)、8TB/s 统一超高带宽,算力密度提升约 50%(稠密 FP4 算力达 15 PFLOPS,稀疏 FP4 达 30 PFLOPS);可轻松承载万亿参数模型(如 671B 模型)与200K+ 超长上下文推理,显存溢出问题彻底解决,推理并发能力、数据吞吐效率显著优于 B200,能效表现更出色。

DGX SuperPOD方案简介

NVIDIA DGX SuperPOD是英伟达推出的一站式 AI 超级计算集群架构,专为大规模 AI 训练与高性能计算(HPC)设计,它以标准化的计算节点 NVIDIA DGX 设备为基础,通过NVLink高速互联将多个计算节点紧密耦合, 能够提供超强算力支撑,显著提升大模型训练与推理的效率,并且依托标准化 SU 可扩展单元可加速方案落地周期。 为了应对大规模AI集群部署的挑战,超擎推出基于Blackwell的SuperPOD方案。该方案搭建的AIDC网络由计算网络、存储网络、带内管理网络、带外管理网络组成。

AIDC网络集群拓扑图

InfiniBand 网络解决方案组网示意图

网络架构清晰,提供高性能与强稳定性

  1. 1. 算力、存储、管理三网物理 / 逻辑分离:避免不同业务流量互相干扰,彻底解决推理场景中“训练 / 推理抢带宽”问题,让在线推理任务不受影响。
  2. 2. 算力网采用 800G/400G Spine-Leaf 架构:搭配服务器接入带宽,满足大规模模型推理、多卡多节点分布式任务的低延迟与高吞吐需求;在 InfiniBand 组网下可提供稳定并发转发能力。
  3. 3. 存储网通过 200G/100G 链路直连:解决大模型权重文件加载慢问题,降低推理过程中的数据读取瓶颈,保障业务连续性。
  4. 4. 推理场景针对性优化,资源利用率更高:分级带宽设计(800G/400G/200G/100G),根据不同业务(算力、存储、管理)匹配对应带宽,避免“高带宽低负载”的资源浪费。
  5. 5. 高扩展、高可靠,适配业务长期演进:Spine-Leaf 架构支持横向平滑扩展,可按需新增 Leaf/Spine 节点;关键链路采用冗余设计,满足业务 7×24 小时在线需求。

多平面组网方案

核心网络采用双平面 Leaf-Spine 架构(Plane A 和平面 B),将 GPU 计算节点按 64 个 GPU 划分为一个可扩展单元(Scaleable Unit, SU),每个 GPU 节点配备 NVIDIA ConnectX-8 SuperNIC,配置 2*400Gbps 高速链路。每个 SU 内 GPU 节点与平面内对应 Leaf 交换机全互联,Leaf 层通过全交叉互联结构与 Spine 层连接,实现 A/B 两个平面在物理链路层面完全独立,单平面故障时另一平面可无缝容错;双平面通道共同分担通信压力,实现压力均衡,避免网络拥塞和热点。

多平面组网方案拓扑图

本次方案硬件为 12×Q3400-RA(XDR)+72×Blackwell 架构 GPU 服务器。每台 GPU 服务器配备 8 张 ConnectX-8 SuperNIC,采用 4-plane 拆分,实现 SuperNIC 带宽的最大化释放和稳定性保障。

多平面组网方案拓扑图示意图

1. 带宽扩展,释放 AI 训练性能。

传统单平面架构受限于 Spine 交换机的端口密度,当 GPU 数量暴增时,需要建立三层网络连接,一方面交换机端口利用率降低,另一方面跨三层通信时延增加,导致网络利用率降低。

  • 多平面架构中,每个平面的带宽是叠加的,图中每个 GPU 节点都有2*400G的接入能力,两个平面合计能够提供翻倍的有效带宽。
  • 可以轻松支持数万级 GPU 节点的全互联,满足大模型训练中大规模 Shuffle 通信的需求,避免网络成为算力的瓶颈。

2. 故障隔离,实现超高可靠性

  • 每个平面都是独立的物理网络,Plane A 的设备故障、链路中断,不会影响 Plane B 的正常运行,彻底避免了“单点故障导致全网瘫痪”的风险。
  • 流量可以自动切换到健康的平面上,AI 训练任务几乎不会受到网络故障的影响,大大提升了集群的整体可用性。

3. 完美负载均衡,消除拥塞热点

  • 多个独立平面可以分担不同类型的流量(比如数据流量和控制流量),或者让流量均匀分布在不同平面上,避免单条链路 / 交换机过载。
  • 这种设计能大幅减少 ECMP(等价多路径)哈希不均导致的拥塞问题,让网络延迟更稳定、更可预测,这对 AI 训练的收敛速度至关重要。

计算网络

AIDC 计算网络是智算中心内专为 GPU/NPU 多机多卡分布式训练设计的高速专用互联网络,主要采用 IB 或 RoCEv2 技术,核心承担多卡间梯度同步、参数交换与 All-Reduce 通信任务,决定集群算力扩展上限,可提供低延迟、高带宽、无损传输能力,保障大规模训练的线性加速比,同时与业务网络、存储网络分离,分别适配训练、微调、推理等不同场景的通信需求。

InfiniBand 方案产品选型

DGX B300 SuperPod 如果使用 IB 交换机 QM3400 进行 IB 单平面组网,QM3400 最多提供 144 个 800G,两层 Spine-Leaf 架构的组网下,最大组网规模 10368 卡,如果集群数量超过 10368 卡以上,则可以考虑双平面和三层组网。IB 二层组网最大规模拓扑如下所示:

IB 二层组网最大规模拓扑图

AI 算力集群 IB 组网设备与线缆规模表如下所示:

AI 算力集群 IB 组网设备与线缆规模表

当计算数量超过 32 SU 时,则需要进行 3 层网络的扩展,同时三层组网也面临很多问题,比如大量的设备,部署和维护困难,转发跳数增加,延时增加,整个集群的性能都会受到很大程度的影响,此时可以采用双平面或者双平面扩充的四平面组网,需要使用 Shuffle 来进行光纤映射,每个 SU 扩展到 4 个机架,即 288 卡,为了进一步扩大组网规模,交换机之间互联也使用 Shuffle 来进行端口扩充,把 800G(2MPO)变换成 4*200G,从而扩展 Leaf 交换机的接入数量。

四平面组网与 Shuffle 端口扩充示意图
型号描述图片
Quantum-3 Q3400NVIDIA Q3400-RA (920-9B36F-00RX-8S0) Quantum-3 XDR 800Gb/s 72 OSFP 4U Air-Cooled InfiniBand 交换机
Quantum-3 Q3400 交换机
NVIDIA MMS4A20-XM800MMS4A20-XM800 InfiniBand XDR 800G 光模块1310nm 500m
NVIDIA MMS4A20-XM800 光模块
NVIDIA MMS4A00-XMMMS4A00-XM InfiniBand XDR OSFP 1.6T 光模块 1310nm 500m
NVIDIA MMS4A00-XM 光模块
NVIDIA 980-9I570-00N030NVIDIA 980-9I570-00N030兼容MPO-MPO多模式OM4跳线,30米
NVIDIA MPO-MPO OM4 跳线

存储网络

存储网络是 AIDC 智算中心中专门连接计算节点与存储设备的专用数据传输网络,负责训练数据、模型权重、检查点、日志等数据的高速读写与共享;核心作用是为 GPU 集群提供稳定、高带宽、低延迟的数据供给,避免因 I/O 瓶颈导致算力闲置,同时支持多节点并发访问、数据持久化与冷热分层存储,保障大模型训练、推理和数据处理流程高效稳定运行。

InfiniBand 方案产品选型

InfiniBand 存储网络采用 Quantum QM9700 64 端口 NDR 400Gb/s InfiniBand 交换机,搭配 OSFP-400G 光模块与 MPO-12 芯主干光纤,构建端到端 400G NDR 全线速无损存储组网;单交换机提供 64 个 400G NDR 无阻塞线速端口,基于 InfiniBand 原生无丢包、低延时、RDMA 直写直读特性,相比传统以太网存储组网,存储读写带宽成倍提升,端到端访问时延大幅降低,可稳定支撑大模型权重加载、推理样本吞吐、并行文件系统读写、海量向量数据库检索等高带宽、高 IOPS、低时延的存储业务诉求,满足多 GPU 节点并发访问共享存储的流量承载需求。

型号描述图片
Quantum QM9700NVIDIA Quantum-2 MQM9700 NDR 400Gb/s InfiniBand 交换机
Quantum QM9700 交换机
MMS4X00-NSMMS4X00-NS InfiniBand NDR OSFP 2x400G 光模块 1310nm 100m
MMS4X00-NS 光模块
MMS4X00-NS400MMS4X00-NS400 InfiniBand NDR OSFP 400G 光模块 1310nm 100m
MMS4X00-NS400 光模块
NVIDIA 980-9I570-00N030NVIDIA 980-9I570-00N030兼容MPO-MPO多模式OM4跳线,30米
NVIDIA MPO-MPO OM4 跳线

带内管理网络

带内管理网络是指在一体化集群架构中,将节点管理、硬件管控、集群调度、日志监控、固件升级等管理流量,与计算 / 存储业务流量共用同一套高速物理网络,通过 VLAN、QoS、安全隔离实现管理平面与数据平面的逻辑分离。主要作用是统一承载集群内服务器、交换机、存储等设备的运维管理通信,实现集群统一监控、配置分发、故障诊断、日志收集与远程管控,简化布线与硬件架构,保障 SuperPod 大规模集群高效、稳定、自动化运维,同时不抢占核心计算流量的带宽与优先级。

产品方案选型

型号描述图片
NVIDIA SN5600NVIDIA SN5600 Spectrum-4 800GbE OSFP 2U Ethernet Switch
NVIDIA SN5600 交换机
Q112-400G-SR4 (980-9I693-F4NS00)400G SR4 QSFP112 850nm 100m MTP/MPO-12 APC光模块
Q112-400G-SR4 光模块
OSFP-400G-SR4 (980-9I51S-F4NS00400)400G SR4 OSFP 850nm 100m MTP/MPO-12 APC光模块
OSFP-400G-SR4 光模块
OSFP-800G-2xSR4 (980-9I510-F4NS00)800G 2xSR4 OSFP 850nm 100m MTP/MPO-12 APC光模块
OSFP-800G-2xSR4 光模块
M4MPOA2x4F (980-9I557-00N030)30m (98ft) MPO-8 APC (Female) to 2xMPO-4 APC (Female) Multimode (OM4) Breakout, Type B, LSZH, 3.0mm, Max IL ≤ 0.35dB, Magenta
MPO 光纤跳线

带外管理网络

带外管理网络是独立于业务网络、计算网络之外的专用管理平面,通过专用管理网口与交换机构建物理隔离通道,不依赖主网络运行,用于服务器、GPU、交换机等硬件设备的远程上电 / 下电、BIOS 配置、故障排查、日志采集与紧急运维,即使主网络故障也能稳定管控。

产品方案选型

型号描述图片
SN2201NVIDIA Spectrum SN2201 48个x1GbE RJ45+4个x100GbE QSFP28
NVIDIA SN2201 交换机
QSFP-100G-DR (980-9I042-00C000)400G QSFP28 1310nm 500米 LC双工光模块
QSFP-100G-DR 光模块

即刻开启企业AI之旅

联系超擎数智 AI 基础设施专家, 获取面向训练、推理或企业私有化 AI 场景的专属解决方案。

获取专属方案