RoCE 网络解决方案

Blackwell架构简介

随着 AI 模型规模从千亿参数迈向万亿参数,从训练到推理、从大语言模型到多模态生成式 AI 的全面演进,对算力、显存、互联带宽和能效提出了前所未有的要求。NVIDIA Blackwell 架构应运而生,以著名数学家、统计学家 David Blackwell 的名字命名,专为生成式 AI 和加速计算打造,在 Hopper 架构成功的基础上实现了代际跃升。

Blackwell 架构 GPU 拥有 2080 亿个晶体管,采用台积电定制 4NP 工艺制造。通过双芯片封装设计,两颗光刻极限尺寸的裸片经由 10 TB/s 的 NV-HBI 片间互联组成统一 GPU。第五代 Tensor Core 配合第二代 Transformer Engine,原生支持 NVFP4 混合精度;HBM3e 显存子系统提供更高带宽与容量;第五代 NVLink 则大幅提升多 GPU 及跨节点集群扩展能力。

核心突破点

NVFP4 原生混合精度计算与第二代 Transformer 引擎

Blackwell 架构原生支持 NVFP4 低精度格式,在保持与 FP8 相当准确性的同时显著提升推理吞吐与能效。第二代 Transformer Engine 结合微张量缩放技术,优化大语言模型和多专家模型的训练与推理效率,降低显存占用。

双芯片封装与协同计算

采用双芯片(Dual-Die)封装,通过 10 TB/s NV-HBI 高速互联将两颗相同计算裸片整合为统一 GPU,突破单芯片面积限制,晶体管规模较上一代 Hopper 大幅提升,算力密度与能效同步跃升。

NVLink 5.0 超高速互联与网络优化

第五代 NVLink 提供高达 1.8 TB/s 双向带宽,支持 NVLink Switch 实现万卡级集群线性扩展,显著降低多 GPU 训练中的通信瓶颈,为 NCCL 集合通信提供更强互联底座。

HBM3e 高带宽大容量显存子系统

升级至 HBM3e 显存,提供高达 8 TB/s 带宽,单卡容量可达 192 GB 至 288 GB,满足万亿参数模型训练与大规模推理对显存容量和吞吐的双重需求。

增强型安全多实例隔离与机密计算

提供硬件级安全隔离能力,支持 MIG 多实例 GPU 技术及机密计算特性,满足多租户云环境与敏感数据场景下的算力共享与数据保护需求。

GPU型号

Blackwell 架构(B 系列)

B300 是 B200 的旗舰增强升级款,延续 Blackwell 架构与统一软硬件生态、兼容原有 B200 服务器集群,重点针对显存容量、算力密度做全方位强化的顶级 AI 算力显卡。搭载288GB HBM3e 超大容量显存(12 层堆叠)、8TB/s 统一超高带宽,算力密度提升约 50%(稠密 FP4 算力达 15 PFLOPS,稀疏 FP4 达 30 PFLOPS);可轻松承载万亿参数模型(如 671B 模型)与200K+ 超长上下文推理,显存溢出问题彻底解决,推理并发能力、数据吞吐效率显著优于 B200,能效表现更出色。

DGX SuperPOD方案简介

NVIDIA DGX SuperPOD是英伟达推出的一站式 AI 超级计算集群架构,专为大规模 AI 训练与高性能计算(HPC)设计,它以标准化的计算节点 NVIDIA DGX 设备为基础,通过NVLink高速互联将多个计算节点紧密耦合, 能够提供超强算力支撑,显著提升大模型训练与推理的效率,并且依托标准化 SU 可扩展单元可加速方案落地周期。 为了应对大规模AI集群部署的挑战,超擎推出基于Blackwell的SuperPOD方案。该方案搭建的AIDC网络由计算网络、存储网络、带内管理网络、带外管理网络组成。

AIDC网络集群拓扑图

RoCE 网络解决方案组网示意图

网络架构清晰,提供高性能与强稳定性

  1. 1. 算力、存储、管理三网物理 / 逻辑分离:避免不同业务流量互相干扰,彻底解决推理场景中“训练 / 推理抢带宽”问题,让在线推理任务不受影响。
  2. 2. 算力网采用 800G/400G Spine-Leaf 架构:搭配服务器接入带宽,满足大规模模型推理、多卡多节点分布式任务的低延迟与高吞吐需求;在 RoCE 组网下可提供稳定并发转发能力。
  3. 3. 存储网通过 200G/100G 链路直连:解决大模型权重文件加载慢问题,降低推理过程中的数据读取瓶颈,保障业务连续性。
  4. 4. 推理场景针对性优化,资源利用率更高:分级带宽设计(800G/400G/200G/100G),根据不同业务(算力、存储、管理)匹配对应带宽,避免“高带宽低负载”的资源浪费。
  5. 5. 高扩展、高可靠,适配业务长期演进:Spine-Leaf 架构支持横向平滑扩展,可按需新增 Leaf/Spine 节点;关键链路采用冗余设计,满足业务 7×24 小时在线需求。

多平面组网方案

核心网络采用双平面 Leaf-Spine 架构(Plane A 和平面 B),将 GPU 计算节点按 64 个 GPU 划分为一个可扩展单元(Scaleable Unit, SU),每个 GPU 节点配备 NVIDIA ConnectX-8 SuperNIC,配置 2*400Gbps 高速链路。每个 SU 内 GPU 节点与平面内对应 Leaf 交换机全互联,Leaf 层通过全交叉互联结构与 Spine 层连接,实现 A/B 两个平面在物理链路层面完全独立,单平面故障时另一平面可无缝容错;双平面通道共同分担通信压力,实现压力均衡,避免网络拥塞和热点。

多平面组网方案拓扑图

本次方案硬件为 12×Q3400-RA(XDR)+72×Blackwell 架构 GPU 服务器。每台 GPU 服务器配备 8 张 ConnectX-8 SuperNIC,采用 4-plane 拆分,实现 SuperNIC 带宽的最大化释放和稳定性保障。

多平面组网方案拓扑图示意图

1. 带宽扩展,释放 AI 训练性能。

传统单平面架构受限于 Spine 交换机的端口密度,当 GPU 数量暴增时,需要建立三层网络连接,一方面交换机端口利用率降低,另一方面跨三层通信时延增加,导致网络利用率降低。

  • 多平面架构中,每个平面的带宽是叠加的,图中每个 GPU 节点都有2*400G的接入能力,两个平面合计能够提供翻倍的有效带宽。
  • 可以轻松支持数万级 GPU 节点的全互联,满足大模型训练中大规模 Shuffle 通信的需求,避免网络成为算力的瓶颈。

2. 故障隔离,实现超高可靠性

  • 每个平面都是独立的物理网络,Plane A 的设备故障、链路中断,不会影响 Plane B 的正常运行,彻底避免了“单点故障导致全网瘫痪”的风险。
  • 流量可以自动切换到健康的平面上,AI 训练任务几乎不会受到网络故障的影响,大大提升了集群的整体可用性。

3. 完美负载均衡,消除拥塞热点

  • 多个独立平面可以分担不同类型的流量(比如数据流量和控制流量),或者让流量均匀分布在不同平面上,避免单条链路 / 交换机过载。
  • 这种设计能大幅减少 ECMP(等价多路径)哈希不均导致的拥塞问题,让网络延迟更稳定、更可预测,这对 AI 训练的收敛速度至关重要。

Shuffle组网方案

  • Shuffle 是面向 AI 智算中心、GPU 集群与现代化数据中心推出的光层光纤重组互连方案,也称作网状重组技术,核心通过 Shuffle 光缆、Shuffle 配线箱两类无源光组件,实现光纤链路的重新映射与交叉编组,解决传统 Spine-Leaf 架构高密度布线杂乱、扩容难度大、时延抖动高、运维复杂等痛点。
  • 该方案深度适配 800G/1.6T 高速 IB、ConnectX-8 网卡、Blackwell GPU 集群、CPO 共封装光学等新一代 AI 网络架构,结合端口拆分(Port Breakout)与多平面组网技术,完成轨道优化(Rail-Optimization)部署。一方面可将交换机高速端口拆分为多路低速子通道,依托预定义的光纤交叉结构,把不同接入设备的通道对称 leaf 至 spine 交换机,保障 GPU 集合通信低时延、无阻塞传输;另一方面统一规范物理布线,大幅减少现场跳线数量,降低人工接线错误率与链路时延抖动,同时优化光链路路径,减少转接节点与光功率损耗,提升链路稳定性。
  • 目前主流包含 2x2、4x4 两类标准光纤重组模式,分别适配 4 平面、8 平面 AI 组网,同时支持个性化定制。产品形态分为 Shuffle Cable 重组光缆与 Shuffle Box 重组配线箱,覆盖不同机柜密度、布线场景与扩容需求,硬件规格丰富,支持单 / 多模光纤、多种连接器、芯数、尺级定制、寸及阻燃等。

计算网络

AIDC 计算网络是智算中心内专为 GPU/NPU 多机多卡分布式训练设计的高速专用互联网络,主要采用 IB 或 RoCEv2 技术,核心承担多卡间梯度同步、参数交换与 All-Reduce 通信任务,决定集群算力扩展上限,可提供低延迟、高带宽、无损传输能力,保障大规模训练的线性加速比,同时与业务网络、存储网络分离,分别适配训练、微调、推理等不同场景的通信需求。

RoCE方案产品选型

在以太网方案中可以采用 N9570-64QC 以太网交换机作为 DGX B300 SuperPod 的计算网络的解决方案,N9520-64QC 可以支持 64 x 800Gbps 或 128 x 400Gbps 端口。B300 通常搭配 CX-8 来使用,CX-8 网卡 IB 模式下支持单端口 800G 或双端口 400G,以太网模式下不支持单端口 800G,最高支持双端口 400G,CX-8 原生支持多平面组网,从而可以在两层架构下支持更多 GPU,IB 和以太网模式下,都支持双平面组网。以太网组网为例,在轨道优化组网基础上叠加多平面组网,以 51.2T 交换机为例,在平面组双网下,可以实现 16,384 个 GPU 的接入,此时由于每个网卡实际接入了 2 个 400G 的端口,因此,双平面平面组网下的交换机数量也有所增加,需要 256 个 Spine 和 128 个 Leaf 交换机接入。以此类推,增加平面的层数,则 GPU 卡的数量以及交换机的数量则翻倍增加,以四平面为例,GPU 卡数的集群可以达到 3W+ 的数量。

当计算数量超过 32 SU 时,则需要进行 3 层网络的扩展,同时三层组网也面临很多问题,比如大量的设备,部署和维护困难,转发跳数增加,延时增加,整个集群的性能都会受到很大程度的影响,此时可以采用双平面组网或者双平面扩充的四平面组网,需要使用 Shuffle 来进行光纤映射,同时,每个 SU 扩展到 4 个机架,即 288 卡。为了进一步扩大组网规模,交换机之间互联也使用 Shuffle 来进行端口扩充,把 800G(2MPO)变换成 4*200G,从而扩展 Leaf 交换机的接入数量。

型号描述图片
N9570-64OCN9570-64OC, 64x 800Gb OSFP, NVIDIA Spectrum-4, 51.2Tbps
N9570-64OC 交换机
OSFP-800G-2xSR4800G 2xSR4 OSFP 850nm 100m MTP/MPO-12 APC光模块
OSFP-800G-2xSR4 光模块
OSFP-800G-SR8800G SR8 OSFP 850nm 100m MTP/MPO-16 APC光模块
OSFP-800G-SR8 光模块
OSFP-400G-SR4400G SR4 OSFP 850nm 100m MTP/MPO-12 APC光模块
OSFP-400G-SR4 光模块
M4MPOA12FBMPO®-12 (Female) to MPO®-12 (Female) OM4 Multimode Elite Trunk Cable, 12 Fibers, APC polish, Type B, Plenum (OFNP), Magenta
M4MPOA12FB 光纤跳线
S2MTPA12FBMTP®-12 (Female) to MTP®-12 (Female) OS2 Single Mode Elite Trunk Cable, 12 Fibers, Type B, Plenum (OFNP), Yellow
S2MTPA12FB 光纤跳线
S2LCUDLC/UPC to LC/UPC Duplex OS2 Single Mode Fiber Optic Adapter/Coupler without Flange
S2LCUD 光纤适配器

超擎方案天然适配大模型 AIDC 高并发推理、向量数据库检索、多业务混合负载场景,具备低转发时延、强拥塞管控、大流量突发承载能力;B300/GB300 方案依托 800G 高带宽能力,进一步突破大模型训练与推理的通信瓶颈。同时,超擎交换机、光模块及 MPO 布线全套链路产品,在完全对标国际大厂同规格以太网设备性能、兼容性一致的前提下,整体建设成本降低 35%~45%,链路传输稳定性、信号完整性、高低温环境适应性更优,运维交付响应更快,可满足智算中心推理业务高密度部署、平滑横向扩容,同时摆脱原厂生态绑定,大幅降低长期 TCO。

测试项目介绍超擎数智行业原厂同规格以太网整套方案
硬件性能51.2T高吞吐量,全线速无阻塞转发,支持 AI Fabric、高精度拥塞控制与智能负载均衡同芯片同端口规格,基础转发能力一致
兼容性适配标准协议,兼容主流服务器网卡、交换机、RoCEv2 网络,通用适配行业布线标准原厂配件生态封闭,多品牌混搭易出现兼容适配问题
传输稳定性PAM4 信号优化,工业级高低温耐受,光模块支持 100m 多模稳定传输;光纤低损耗、抗弯折、抗干扰常规商用级标准设计,环境适应性一般
成本造价交换机、光模块、MPO 主干光纤全系自研自产,无品牌溢价原厂设备及配件溢价高,整套链路采购成本昂贵
业务体验低转发时延、智能队列调度,适配 AIDC 高并发推理、多租户共享算力场景通用以太网调度,无 AI 场景专项优化
交付与运维现货交付,可定制光纤长度、端口配置交付周期长,售后响应层级多、排障慢

存储网络

存储网络是 AIDC 智算中心中专门连接计算节点与存储设备的专用数据传输网络,负责训练数据、模型权重、检查点、日志等数据的高速读写与共享;核心作用是为 GPU 集群提供稳定、高带宽、低延迟的数据供给,避免因 I/O 瓶颈导致算力闲置,同时支持多节点并发访问、数据持久化与冷热分层存储,保障大模型训练、推理和数据处理流程高效稳定运行。

RoCE方案产品选型

以太网存储网络方案采用 N9570-64QC 51.2T 数据中心交换机,搭载 NVIDIA Spectrum-4 商用芯片,提供 64 个 800Gb OSFP 全线速端口,原生面向 AI/ML/Cloud/HPC 场景优化;搭配 OSFP-800G 光模块、MPO-12 12 芯 OM4 多模主干光纤,构建自适应无阻塞 CLOS 以太网组网。整体具备超高带宽、极低转发时延、超大突发流量承载、智能拥塞管控的硬件能力,单端口支持 400G 线速转发无瓶颈,配套 MPO 主干 / 分支光纤均采用 Type B 极性标准、LSZH 低烟无卤护套,链路衰减小、信号完整性强、抗干扰性优异,可充分满足 AI 大模型训练 / 推理、超大规模向量数据库检索、多节点并发存储读写、算力池化调度等高吞吐、高并发、低时延的业务负载需求,适配大规模 GPU 集群的存储带宽诉求。

型号描述图片
N9570-64OCN9570-64OC, 64x 800Gb OSFP, NVIDIA Spectrum-4, 51.2Tbps
N9570-64OC 交换机
OSFP-800G-2xSR4800G 2xSR4 OSFP 850nm 100m MTP/MPO-12 APC光模块
OSFP-800G-2xSR4 光模块
OSFP-800G-SR8800G SR8 OSFP 850nm 100m MTP/MPO-16 APC光模块
OSFP-800G-SR8 光模块
OSFP-400G-SR4400G SR4 OSFP 850nm 100m MTP/MPO-12 APC光模块
OSFP-400G-SR4 光模块
M4MPOA12FBMPO®-12 (Female) to MPO®-12 (Female) OM4 Multimode Elite Trunk Cable, 12 Fibers, APC polish, Type B, Plenum (OFNP), Magenta
M4MPOA12FB 光纤跳线
S2MTPA12FBMTP®-12 (Female) to MTP®-12 (Female) OS2 Single Mode Elite Trunk Cable, 12 Fibers, Type B, Plenum (OFNP), Yellow
S2MTPA12FB 光纤跳线
S2LCUDLC/UPC to LC/UPC Duplex OS2 Single Mode Fiber Optic Adapter/Coupler without Flange
S2LCUD 光纤适配器

带内管理网络

带内管理网络是指在一体化集群架构中,将节点管理、硬件管控、集群调度、日志监控、固件升级等管理流量,与计算 / 存储业务流量共用同一套高速物理网络。通过 VLAN、QoS、安全隔离实现管理平面与数据平面的逻辑分离。主要作用是统一承载集群内服务器、交换机、存储等设备的运维管理通信,实现集群统一监控、配置分发、故障诊断、日志收集与远程管控,简化布线与硬件架构,保障 SuperPod 大规模集群高效、稳定、自动化运维,同时不抢占核心计算流量的带宽与优先级。

产品方案选型

型号描述图片
N6300-32C32-Port Ethernet L3 Data Center Switch, 32x 40Gb/100Gb QSFP28, Support MLAG, Broadcom Chip, Support RoCE
N6300-32C 交换机
N6300-48Y8C48-Port Ethernet L3 Data Center Switch, 48x 10/25Gb SFP28, with 8x 40/100Gb QSFP28, Support MLAG, Broadcom Chip, Support RoCE
N6300-48Y8C 交换机
QSFP-100G-SR4100GBASE-SR4 QSFP28 4x25G NRZ 850nm 100m MMF DOM MPO-12/UPC Optical Transceiver Module
QSFP-100G-SR4 光模块
QSFP-100G-LR4100GBASE-LR4 QSFP28 4x25G NRZ 1310nm 10km SMF DOM LC Duplex COB Optical Transceiver Module
QSFP-100G-LR4 光模块
SFP-25G-SRSFP-25G-SR-S Compatible 25GBASE-SR SFP28 850nm 100m MMF DOM LC Duplex Optical Transceiver Module
SFP-25G-SR 光模块
SFP-25G-LRSFP-25G-LR-S Compatible 25GBASE-LR SFP28 1310nm 10km SMF DOM LC Duplex Optical Transceiver Module
SFP-25G-LR 光模块
SFP-10G-SRSFP-10G-SR Compatible 10GBASE-SR SFP+ 850nm 300m MMF DOM LC Duplex Optical Transceiver Module
SFP-10G-SR 光模块
SFP-10G-LRSFP-10G-LR Compatible 10GBASE-LR SFP+ 1310nm 10km SMF DOM LC Duplex Optical Transceiver Module
SFP-10G-LR 光模块
S2LCUDLC/UPC to LC/UPC Duplex OS2 Single Mode Fiber Optic Adapter/Coupler without Flange
S2LCUD 光纤适配器
M4MTPU12FB1m (3ft) MTP-12 UPC (Female) to MTP-12 UPC (Female) 12 Fibers Multimode (OM4) Jumper, Type B, LSZH, 3.0mm, Max IL ≤ 0.35dB, Magenta
M4MTPU12FB 光纤跳线

带外管理网络

带外管理网络是独立于业务网络、计算网络之外的专用管理平面,通过专用管理网口与交换机构建物理隔离通道,不依赖主网络运行,用于服务器、GPU、交换机等硬件设备的远程上电 / 下电、BIOS 配置、故障排查、日志采集与紧急运维,即使主网络故障也能稳定管控。

产品方案选型

型号描述图片
S2200-48T4X8-Port Gigabit Ethernet L3 Switch, 48x Gigabit RJ45, with 4x 10Gb SFP+, Support MLAG
S2200-48T4X 交换机
S4600-24X2C24-Port Ethernet L3 Switch, 24x10Gb SFP+, with 2x QSFP28/QSFP+ Uplinks, Support MLAG
S4600-24X2C 交换机
SFP-10G-SRSFP-10G-SR Compatible 10GBASE-SR SFP+ 850nm 300m MMF DOM LC Duplex Optical Transceiver Module
SFP-10G-SR 光模块
SFP-10G-LRSFP-10G-LR Compatible 10GBASE-LR SFP+ 1310nm 10km SMF DOM LC Duplex Optical Transceiver Module
SFP-10G-LR 光模块
S2LCUDLC/UPC to LC/UPC Duplex OS2 Single Mode Fiber Optic Adapter/Coupler without Flange
S2LCUD 光纤适配器

即刻开启企业AI之旅

联系超擎数智 AI 基础设施专家, 获取面向训练、推理或企业私有化 AI 场景的专属解决方案。

获取专属方案