客户行业
- 网络安全
AI Infra解决方案
项目概览
随着大模型从通用预训练走向行业化后训练，AI 基础设施的核心瓶颈正在从单点算力扩展到集群级协同效率。对于网络安全场景而言，安全告警、行为链路、威胁情报和多源日志数据持续增长，模型后训练不仅需要高性能 GPU 算力，也对训练网络、存储网络、资源调度和运维稳定性提出了系统性要求。
面向某网络安全客户的安全大模型后训练需求，超擎数智交付了一套面向 AI Infra 场景的端到端高性能基础设施解决方案。该方案以 72 台 Blackwell 架构 GPU 服务器为算力底座，构建 800G InfiniBand XDR 训练网络、400G RoCE 存储网络以及带内/带外管理网络，并通过链路健康检查、GPU RDMA 带宽测试和 NCCL AllReduce 集体通信测试完成全链路验证。
本次交付不仅验证了 800G XDR 网络在高性能 GPU 集群中的可行性与稳定性，也形成了从架构设计、网络规划、光互联部署、物理层交付、性能验证到运维支撑的 AI Infra 工程化闭环，为客户后续安全大模型训练、微调和规模化扩展提供了高可靠基础设施底座。
客户集群基本情况
- 计算：NVIDIA Blackwell 系列 GPU
- 网络：800G InfiniBand XDR + 400G RoCE Networking
- 存储：总容量 1 PB
客户需求
- 客户为支持公域威胁的智能化分析与处置能力建设，规划使用 AI 模型进行后训练对安全告警、行为链路与多源数据进行自动化关联与推断，从而提升威胁识别准确率与响应效率。
项目痛点
安全大模型的训练任务天然具有强通信特征，在分布式训练过程中会产生高频、突发且持续的集体通信与参数同步流量。
- 带宽与时延抖动：安全模型参数规模庞大，迭代频繁，传统网络难以承载并发训练的海量吞吐，高时延直接导致 GPU 空转，拉低整体训练效率。
- 训练稳定性：高负载训练对链路稳定性极为敏感，任何抖动或短暂丢包可能导致训练任务中断，造成不可逆的算力与时间成本损失。
- 部署与运维复杂性：随着集群规模扩大，如何降低网络规划、部署及运维的复杂度，实现快速上线与故障定位，是落地的关键难题。
超擎端到端InfiniBand XDR 800G 高性能网络互连方案
针对上述挑战，超擎团队基于严谨的技术规划，构建了面向 AI 训练的 InfiniBand XDR 超低时延网络解决方案，部署 72 台 GPU 服务器、网络侧以 Q3400-RA 交换机作为核心方案。提供全链路 800Gb/s 极致互联能力与超低端到端时延，并支持自适应路由与 SHARP 集体通信加速，从而在高负载训练任务下有效提升通信效率与整体网络稳定性。
计算网络方案—InfiniBand
本次部署的计算网络基于 12xQ3400-RA（XDR） + 72xBlackwell 架构 GPU 服务器拓扑，为最大化 XDR 800G 网络带宽利用率，并优化多节点训练场景下的通信稳定性，超擎团队对 ConnectX-8 SuperNIC 进行了 4 平面（4-plane）拆分配置。
4 平面（4-plane）拆分
该配置将单个 800G XDR 端口拆分为 4x200G lanes 的结构转换为 4 个并行平面，并在交换机与 Q3400-RA 的带宽平衡架构设计下有效保证并行扩容时，任何单个平面都可抵达人工可控的交换容量边界，从而实现端到端的负载分摊与稳定性提升。
| 位置 | 设备 | 型号 | 数量 |
|---|---|---|---|
| 核心节点层 | 交换机 | NVIDIA Q3400-RA | 12台 |
| 计算节点层 | 服务器 | GPU服务器 | 72台 |
| 光互联层 | 服务器侧模块 | 800G OSFP DR4 (InfiniBand) | 577个（576用于 server, 1用于 UFM侧） |
| 交换机侧模块 | 1.6T OSFP DR4 (InfiniBand) | 865个（576用于 spine-Leaf互联, 288用于下联, 1用于 UFM侧） | |
| 网络布线 | MPO跳线 | MPO-12 APC OS2 Jumper (20m) | 共计1153根 |
亮点
- 光互联结构化：覆盖叶代 800G / 16T OSFP 方案，实现超低损耗传输
- 高并发优化：优先保障平衡转发，匹配实时队列与并发，避免热点链路
- 实测验证：基于 Q3400-RA 交换机实现端到端 800Gb/s 近线吞吐链路，GPU RDMA 带宽与节点互联稳定性达 787Gb/s，振荡水平显著上升。
4 平面（4-plane）拆分
该配置将单个 800G XDR 端口拆分为 4x200G lanes 的结构转换为 4 个并行平面，并在交换机与 Q3400-RA 的带宽平衡架构设计下有效保证并行扩容时，任何单个平面都可抵达人工可控的交换容量边界，从而实现端到端的负载分摊与稳定性提升。
为什么要做“四平面拆分”？
- 交换机内部结构：Q3400-RA 的转发与交换资源天然具备多路径/多芯片并行能力；若网卡侧仍以单平面/单路径承载，容易在交换机入口处形成“热点”，导致队列堆积与尾延迟上升。
- 提升并发集合通信效率：72 台 GPU 服务器在 NCCL AllReduce/AllGather 等场景下会产生大量并发 RDMA 流；4 平面拆分可以把流量分散到多个并行面，降低单一面的突发拥塞与性能风险。
- 避免“链路带宽够但看似不满”：XDR 800G 的极限吞吐常受限于 lane/队列/路径不均衡引起的拥塞与 FEC 纠错放大。四平面对齐后，能显著减少局部瓶颈，使带宽更接近理论有效上限且更稳定。
“四平面拆分”带来的直接收益
- 交换机内部结构：Q3400-RA 的转发与交换资源天然具备多路径/多芯片并行能力；若网卡侧仍以单平面/单路径承载，容易在交换机入口处形成“热点”，导致队列堆积与尾延迟上升。
- 提升并发集合通信效率：72 台 GPU 服务器在 NCCL AllReduce/AllGather 等场景下会产生大量并发 RDMA 流；4 平面拆分可以把流量分散到多个并行面，降低单一面的突发拥塞与性能风险。
- 避免“链路带宽够但看似不满”：XDR 800G 的极限吞吐常受限于 lane/队列/路径不均衡引起的拥塞与 FEC 纠错放大。四平面对齐后，能显著减少局部瓶颈，使带宽更接近理论有效上限且更稳定。
存储网络方案
超擎团队针对安全大模型高并发访问及 GPU 服务器单节点超 80 GBps 的 I/O 需求，采用 RoCE 以太网交换架构构建存储网络，可有效降低整体部署成本。
| 网络层 | 位置 | 设备 | 型号 | 数量 |
|---|---|---|---|---|
| 存储网络 | 核心节点层 | 交换机 | Nvidia SN5610 | 2台 |
| 计算节点层 | 计算服务器 | GPU服务器 | 72台 | |
| 存储节点层 | 存储服务器 | 高性能Storage 服务器 | 6台 | |
| 交换机侧模块 | 800G光模块 | OSFP-800G-2xSR4 | 40 | |
| 网卡侧模块 | 400G光模块 | 400G QSFP112 SR4 | 156 | |
| 网络布线 | MPO跳线 | M4MPOA2x4F | 78 |
管理网络方案
面向安全模型训练过程中系统协同与资源调度需求，超擎团队构建统一的管理网络体系，基于以太网架构实现业务访问、运维监控与设备管理的分层解耦与协同运行：
- 带内管理网络：通过带内管理网络连接集群服务器与外部资源，实现对 NFS 存储、Slurm、Kubernetes 及用户访问的统一管理，保障任务调度与数据访问稳定运行。
- 带外管理网络：提供独立的管理通道，统一连接计算节点、BMC、BlueField-3 BMC、交换机、存储及 PDU 等全链路管理端口，建立网络隔离实现管理与业务流量解耦。
| 网络层 | 位置 | 设备 | 型号 | 数量 |
|---|---|---|---|---|
| 带内管理网络 | 核心节点层 | 交换机 | 100G Switch | 2台 |
| 接入节点层 | 交换机 | 25G Switch | 4台 | |
| 计算节点层 | 计算服务器 | GPU服务器 | 72台 | |
| 存储节点层 | 存储服务器 | 高性能Storage 服务器 | 6台 | |
| 管理节点层 | 管理服务器 | Management服务器 | 10台 | |
| 交换机侧模块 | 25G光模块 | SFP-25G-SR | 176 | |
| 交换机侧模块 | 100G光模块 | QSFP-100G-SR4 | 40 | |
| 网卡侧模块 | 25G光模块 | SFP-25G-SR | 176 | |
| 网络布线 | MPO跳线 | M4MPOU12FB | 20 | |
| 网络布线 | LC跳线 | M4LCUD | 176 | |
| 带外管理网络 | 接入层 | 交换机 | 48-Port Gigabit Ethernet L3 Switch | 2台 |
| 汇聚层 | 交换机 | 24-Port Ethernet L3 Switch | 2台 | |
| 交换机互联 | 10G AOC | 10G SFP+ to SFP+ AOC | 4根 | |
| 服务器侧 | 网线 | 1ft Cat6 Snagless RJ45 Unshielded PVC CM Ethernet Patch Cable | 若干 |
性能验证与测试结果
模块信息检测
对每条 800G/1.6T XDR 链路的光模块与物理层运行健康监控，确认模块型号/协议匹配、DOM 参数正常、FEC/速率协商正确，且无链路误码与异常告警，为长期训练稳定性提供依据。
（服务器端模块状态示意）（交换机端模块状态示意）
从以上测试结果可以：
- 链路状态正常：State = Active，Link type = IB-XDR，Auto Negotiation = ON，速率正常，链路未出现掉线/未协商异常。
- DOM 光模块指标稳定：模块温度约 49℃，供电电压约 3.26V，Tx/Rx 功率均处于正常区间，Module State = Ready state，Lane DataPath 状态正常，无告警。
- 误码与恢复计数正常：Symbol Errors / Effective Physical Errors 为 0，BER 处于极低水平，Link Down Counter 为 0，Link Error Recovery Counter 为 0，未观察到链路质量劣化或重传风险。
InfiniBand 写带宽性能验证
CPU路径
验证 XDR InfiniBand 网络在 CPU Direct 模式下的单链路写带宽性能，确认链路速率、FEC、光模块及布线状态正常，网络吞吐能力达到设计预期。
从以上结果可见：
- 平均带宽 ~ 440-470 Gb/s，由于 CPU 和 NIC 间带宽为 PCIe 5.0x16，带内带宽符合预期
- 链路稳定，无异常抖动
- MsgRate 稳定在 0.88-0.90 Mops
GPU路径
验证 XDR InfiniBand 网络在 GPU RDMA 模式下作业链路带宽性能，确认传输速率、FEC、光模块及布线状态正常，网络吞吐能力达到设计上限，该测试用于支撑 AI 训练/推理场景中的 RDMA 通信能力。
从以上结果可见：
- 平均带宽 ~ 787.7 Gb/s，接近链路理论值 800G XDR 理论有效带宽上限
- 链路稳定，无异常抖动
- MsgRate 稳定在 1.50 Mops
NCCL Test
验证在 XDR InfiniBand 网络环境下，72 台 D800 服务器分布式训练场景的 NCCL AllReduce 集体通信性能，确认 GPU Direct RDMA 正常参与集合通信，IB Fabric 在多节点负载下无拥塞等异常指标，实际训练通信效率达到设计预期，该验证可复用于 AI 训练场景。
从以上结果可见：
- 平均链路时延：< 25 微秒
- algbw >= 470-480 GB/s
- busbw ~= 820 GB/s
- 错误计数：0
- Out of bounds values ~= 0 OK
- Avg bus bandwidth ~= 598 GB/s
- 大消息阶段等效包吞吐，说明网络已进入饱和传输状态
- Switch 形成 XDR 级背板转发能力
- 无拥塞、无丢包，端到端一致性正常
- 本组数据可作为模型后期基线
超擎数智全栈式高水准交付方案
AI 集群建设是一项系统工程，既需要前期架构设计，也依赖高质量物理层部署和标准化实施流程。围绕本次 72 台 Blackwell GPU 服务器集群，超擎团队从集群设计、综合布线到实施落地三个维度，完成了从方案规划到性能验证的 AI Infra 交付闭环。
集群设计：面向 AI 训练的分层架构
基于客户安全大模型后训练需求，构建了涵盖算力、训练网络、存储网络和管理网络的分层架构。集群以 Blackwell GPU 服务器为算力底座，采用 800G InfiniBand XDR 作为训练网络，支持 GPU Direct RDMA、NCCL AllReduce 等高频集合通信；同时通过 400G RoCE 存储网络支撑训练数据读取和 checkpoint 写入。
在网络设计上，通过 Q3400-RA 交换机与 ConnectX-8 SuperNIC 组合，并结合 4-plane 多平面拆分设计，将 GPU 训练流量均衡铺分布到交换资源中，降低局部拥塞和突发抖动，为大规模分布式训练提供稳定互联基础。
综合布线：保障高速链路稳定运行
800G/1.6T 高速互联对物理层质量要求极高。超擎团队遵循规范化设计、端口映射、线缆路径、端电半径、标签管理和双通路冗余规则，完成训练网络、存储网络和管理网络的全布线设计与实施。
交付标准化流程中，采用标准化链路标签和端口映射文档，确保服务器、网卡、交换机端口、光模块和跳线之间关系清晰可追溯。该设计不仅提升了高速链路稳定性，也便于后续运维中的链路排障、模块更换和容量扩展。
实施落地：从部署到验证的工程闭环
项目实施阶段，按阶段验收上架、光电互联、网络配置、链路检查、性能测试和交付验收的流程推进，确保集群能够快速上线。团队对 InfiniBand Fabric、RoCE 网络、带内管理网络和带外管理网络进行分层部署与互通，保障训练、存储和管理流量相互解耦。
在交付验证阶段，完成光模块 DOM 检查、链路误码检测、CPU 路径带宽测试、GPU RDMA 带宽测试和 NCCL AllReduce 集体通信测试。测试结果验证了集群在多节点 AI 训练场景下的通信性能、链路稳定性和可扩展能力，为客户后续安全大模型训练提供可靠基础设施支撑。
客户价值
- 训练基础算力可靠提升：800G InfiniBand XDR 网络结合 4-plane 多平面拆分设计，有效降低多节点训练中的网络热点和拥塞延迟，为 NCCL AllReduce、AllGather 等集合通信提供稳定带宽支撑。
- 数据链路能力可靠增强：400G RoCE 存储网络能够支撑训练数据读取、checkpoint 写入和多源安全数据流回传，降低集群 I/O 对 GPU 训练效率的影响。
- 集群稳定性和可运维性提升：通过带内与带外管理网络分层设计、计算节点、存储节点、交换机、BMC、PDU 等设备实现统一接入与策略管理，便于后续检验、故障定位和容量扩展。
- 形成可复制的 AI Infra 交付标准：本项目沉淀了从网络拓扑、光互联部署、4-plane 架构、链路验证到 NCCL 压测的标准化方法，可支撑客户后续从 72 节点向更大规模 GPU 集群平滑扩展。