某网络安全行业头部厂家
随着大模型从通用预训练走向行业化后训练，AI 基础设施的核心瓶颈正在从单点算力扩展到集群级协同效率。对于网络安全场景而言，安全告警、行为链路、威胁情报和多源日志数据持续增长，安全大模型不仅需要高性能 GPU 算力，也对训练网络、存储网络、资源调度和长期运维稳定性提出了系统性要求。
随着大模型从通用预训练走向行业化后训练，AI 基础设施的核心瓶颈正在从单点算力扩展到集群级协同效率。对于网络安全场景而言，安全告警、行为链路、威胁情报和多源日志数据持续增长，安全大模型不仅需要高性能 GPU 算力，也对训练网络、存储网络、资源调度和长期运维稳定性提出了系统性要求。
面向某网络安全客户的安全大模型后训练需求，超擎数智交付了一套端到端高性能 GPU 集群互联方案。该方案以 72 台 Blackwell 架构 GPU 服务器为核心算力基础，构建 800G InfiniBand XDR 训练网络、400G RoCE 存储网络以及带内/带外管理网络，并通过光链路健康检查、GPU RDMA 带宽测试和 NCCL AllReduce 集体通信测试完成全链路验证。
本次项目不仅完成了高性能集群交付，也帮助客户建立了面向安全大模型后训练的稳定算力环境，为安全告警关联分析、威胁行为推断、多源数据融合和模型持续迭代提供可靠基础。
一、客户背景：安全大模型驱动威胁分析能力升级
该客户来自网络安全行业，长期面向复杂安全威胁检测、告警处置、攻击链路分析和风险响应等场景开展技术建设。随着攻击手法不断演进，传统基于规则和人工分析的安全运营方式，已经难以充分应对大规模、多源、动态变化的威胁数据。
客户希望通过安全大模型，对安全告警、行为链路、威胁情报和多源日志数据进行自动化关联与推断，提升威胁识别准确率、告警研判效率和响应速度。为支撑模型后训练和持续迭代，客户需要建设一套高性能、低时延、可稳定扩展的 GPU 集群基础设施。
本次集群建设规模如下：
| 模块 | 配置 |
|---|---|
| 计算资源 | 72 台 NVIDIA Blackwell 系列 GPU 服务器 |
| 训练网络 | 800G InfiniBand XDR |
| 存储网络 | 400G RoCE Networking |
| 存储容量 | 总容量 1PB |
| 管理网络 | 带内管理网络 + 带外管理网络 |
二、客户核心挑战
1. 安全大模型后训练通信压力大
安全大模型后训练过程中，需要对安全告警、行为链路、日志数据和威胁情报进行持续学习和迭代。模型参数规模大、训练样本复杂，分布式训练过程中会产生高频、突发且持续的集合通信和参数同步流量。
如果训练网络带宽不足或时延过高，GPU 会在通信阶段等待数据同步，造成 GPU 空转，进而拉低整体训练效率，延长模型迭代周期。
2. 多源安全数据对存储访问提出更高要求
网络安全场景的数据来源复杂，包括日志、流量、终端行为、告警事件、威胁情报和攻击链路数据等。模型后训练不仅需要持续读取大规模样本数据，也需要频繁写入 checkpoint、中间结果和训练日志。
如果存储网络吞吐不足或访问链路不稳定，会直接影响训练数据加载效率，造成“算力等数据”的问题。因此，客户需要在训练网络之外，构建稳定高效的数据访问网络。
3. 长周期训练任务对稳定性高度敏感
安全大模型训练任务通常运行时间长、通信链路复杂、节点规模较大。任何链路抖动、误码、拥塞或设备异常，都可能导致训练任务中断，带来算力浪费和时间成本损失。
客户不仅关注峰值带宽，更关注长时间高负载场景下的链路健康、错误计数、误码率、恢复计数和集合通信稳定性。
4. 72 节点集群建设需要降低部署和运维复杂度
本项目涉及 72 台 GPU 服务器、训练网络、存储网络、带内管理网络、带外管理网络、光模块、跳线、交换机、存储和管理节点等多个组件。随着集群规模扩大，网络规划、端口映射、线缆管理、链路检查和故障定位复杂度显著提升。
客户需要的不只是设备上架和链路连通，而是一套从架构设计、物理层部署、网络联调、性能测试到交付验收的标准化工程能力。
三、超擎解决方案：端到端 800G XDR 高性能互联方案
针对客户安全大模型后训练场景，超擎数智构建了覆盖训练网络、存储网络和管理网络的端到端集群互联方案。
整体设计思路是：以 800G InfiniBand XDR 作为训练通信核心，支撑 GPU Direct RDMA、NCCL AllReduce、AllGather 等高频集合通信；以 400G RoCE 网络支撑训练数据读取、checkpoint 写入和多源安全数据访问；以带内与带外管理网络实现业务访问、任务调度、设备管理和故障运维的分层解耦。
1. 训练网络：800G InfiniBand XDR 支撑安全大模型训练
训练网络基于 12 台 NVIDIA Q3400-RA XDR 交换机和 72 台 Blackwell GPU 服务器构建，提供端到端 800Gb/s 级互联能力。该网络支持自适应路由和 SHARP 集体通信加速，能够在多节点训练任务中提升通信效率，降低拥塞风险。
在实际 AI 训练中，NCCL AllReduce、AllGather 等集合通信会产生大量并发 RDMA 流。超擎通过高带宽、低时延的 XDR 网络，为客户安全大模型后训练提供稳定通信基础，减少通信瓶颈对 GPU 算力释放的影响。
2. 关键设计：4-plane 多平面拆分提升通信稳定性
为进一步提升 800G XDR 网络带宽利用率和多节点训练稳定性，超擎团队对 ConnectX-8 SuperNIC 进行了 4-plane 多平面拆分配置。
该设计将单个 800G XDR 端口按照 4×200G lanes 拆分为 4 个并行传输平面，并与 Q3400-RA 交换机的多芯片交换资源进行对齐映射，使每个平面尽可能进入不同交换路径。这样可以减少局部热点，降低单一平面的突发拥塞风险，使 GPU 训练流量在多个交换资源之间更均衡转发。
对于客户而言，4-plane 设计的直接价值在于：在 72 节点分布式训练场景中，集合通信更加稳定，大消息阶段带宽更平稳，尾延迟和链路抖动风险更低，为后续更大规模扩展形成可复制模板。
3. 存储网络：400G RoCE 支撑高并发数据访问
针对安全大模型训练中的大规模数据读取和 checkpoint 写入需求，超擎采用 400G RoCE 以太网交换架构构建存储网络。网络侧采用 NVIDIA SN5610 交换机，连接 72 台 GPU 服务器和 6 台高性能 Storage 服务器，支撑总容量 1PB 的训练数据访问。
RoCE 网络兼顾高性能与部署成本，可满足安全模型后训练中高并发样本读取、训练中间结果写入和多源数据访问需求，降低数据 I/O 对 GPU 训练效率的影响。
4. 管理网络：带内与带外分层保障可运维性
面向安全模型训练过程中的任务调度、设备监控和故障处理需求，超擎构建带内管理网络和带外管理网络。
带内管理网络用于连接集群服务与外部资源，支撑 NFS 存储、Slurm、Kubernetes 和用户访问等管理需求，保障训练任务调度与数据访问稳定运行。
带外管理网络则提供独立管理通道，统一接入计算节点 BMC、BlueField-3 BMC、交换机、存储和 PDU 等设备管理端口。即使业务网络或训练网络出现异常，运维人员仍可通过带外网络进行状态查看、远程诊断和故障恢复。
四、项目交付：从网络设计到性能验证的工程闭环
AI 集群交付不是单纯设备堆叠，而是从架构规划、光电互联、综合布线、网络配置、链路检查、性能测试到验收移交的系统工程。围绕本项目，超擎团队从集群设计、综合布线和实施验证三个层面完成交付闭环。
1. 集群设计：面向 AI 训练的分层架构
超擎根据客户安全大模型后训练需求，完成训练网络、存储网络和管理网络的分层设计。训练网络专注 GPU 间高速集合通信，存储网络专注数据读取和写入，管理网络专注任务调度、设备管理和运维访问。
这种分层架构能够降低不同业务流量之间的相互干扰，使模型训练、数据访问和设备运维各司其职，提高整体稳定性和可维护性。
2. 综合布线：保障 800G/1.6T 高速链路质量
800G/1.6T 高速互联对物理层质量要求极高。超擎围绕光模块选型、端口映射、线缆路径、弯曲半径、标签管理和风道组织，完成训练网络、存储网络和管理网络的综合布线设计与实施。
在现场布线过程中，团队采用标准化链路标签和端口映射文档，确保服务器、网卡、交换机端口、光模块和跳线之间关系清晰可追溯。该方式不仅提升了高速链路稳定性，也便于后续运维中的链路排查、模块更换和容量扩展。
3. 实施验证：从链路健康到训练通信测试
项目实施阶段，超擎按照设备上架、光电互联、网络配置、链路检查、性能测试和交付验收的流程推进，对 InfiniBand Fabric、RoCE 存储网络、带内管理网络和带外管理网络进行分层配置与联调。
在交付验证阶段，团队完成光模块 DOM 检查、链路误码检测、CPU 路径带宽测试、GPU RDMA 带宽测试和 NCCL AllReduce 集体通信测试，确保集群在真实多节点 AI 训练场景下具备稳定通信能力。
五、性能验证结果：用数据证明集群可用、稳定、可扩展
1. 光模块与物理链路健康检查
超擎团队对 800G/1.6T XDR 链路的光模块与物理层进行健康检查，确认模块型号、协议匹配、DOM 参数、FEC、速率协商和误码计数均符合预期。
测试结果显示，链路状态为 Active，Link type 为 IB-XDR，Auto Negotiation 正常，速率协商正常；模块温度、电压、Tx/Rx 光功率处于正常区间；Symbol Errors、Effective Physical Errors、Link Down Counter、Link Error Recovery Counter 等关键指标正常，未观察到链路质量劣化或重传风险信号。
（服务器侧模块状态信息）
（交换机侧模块状态信息）
这说明集群物理层具备支撑长期高负载训练的基础稳定性。
2. CPU 路径带宽测试
在 CPU Direct 模式下，XDR InfiniBand 单链路写带宽平均达到约 440–470Gb/s。由于 CPU 与 NIC 之间受 PCIe 5.0×16 带宽影响，该结果符合预期，说明链路速率、FEC、光模块和布线状态正常，基础网络吞吐能力达到设计要求。
3. GPU RDMA 带宽测试
在 GPU RDMA 模式下，单链路写带宽平均达到约 787.7Gb/s，接近 800G XDR 理论有效带宽上限，MsgRate 稳定在 1.50 Mpps 左右。
该结果直接验证了实际 AI 训练路径中的 GPU Direct RDMA 能力，说明集群训练网络能够有效支撑跨节点 GPU 数据通信，减少网络对 GPU 算力释放的限制。
4. NCCL AllReduce 集体通信测试
在 72 台 B300 服务器分布式训练场景下，超擎完成 NCCL AllReduce 集体通信测试。测试结果显示，大消息阶段 algbw 约 470–480GB/s，busbw 约 820GB/s，Avg bus bandwidth 约 599GB/s；错误计数为 0，Out of bounds values 为 0 OK。
该结果表明，在多节点高负载训练场景下，GPU Direct RDMA 正常参与集合通信，IB Fabric 未出现明显拥塞、异常重传或带宽塌陷，集群通信一致性和稳定性满足安全大模型后训练需求。
六、客户收益：支撑安全大模型高效、稳定、可持续迭代
1. 显著提升训练通信效率
800G InfiniBand XDR 网络结合 4-plane 多平面拆分设计，有效降低多节点训练中的网络热点和尾延迟风险，为 NCCL AllReduce、AllGather 等集合通信提供稳定带宽支撑，帮助客户提升安全大模型后训练效率。
2. 降低 GPU 空转和通信等待
通过高带宽、低时延训练网络和 GPU RDMA 能力，集群能够减少跨节点通信阶段的等待时间，使 GPU 算力更充分释放，降低因网络瓶颈导致的训练效率损失。
3. 增强多源安全数据供给能力
400G RoCE 存储网络与 1PB 存储容量配合，可支撑安全告警、行为链路、威胁情报和多源日志数据的高并发读取，并满足 checkpoint 写入和训练中间结果存储需求，降低数据 I/O 对模型训练的影响。
4. 提升长周期训练稳定性
通过光链路健康检查、误码检测、FEC 状态确认、GPU RDMA 测试和 NCCL 测试，项目验证了集群在物理层、链路层和训练通信层面的稳定性。客户可以更有信心地运行长周期、高负载的安全模型训练任务。
5. 提升集群运维和故障定位效率
带内与带外管理网络分层设计，使计算节点、存储节点、交换机、BMC、BlueField-3 BMC 和 PDU 等设备具备统一管理与独立运维通道。配合标准化标签、端口映射和链路文档，客户后续可更高效地完成巡检、故障定位和容量扩展。
6. 形成可复制的安全 AI 集群建设模板
本项目沉淀了 72 节点 Blackwell GPU 集群在 800G XDR 网络下的拓扑设计、4-plane 映射、光互联部署、链路验证和 NCCL 压测方法。该模板可支撑客户未来向更大规模 GPU 集群平滑扩展，为安全大模型持续迭代提供可演进基础。
七、结语：以高性能互联支撑安全 AI 能力持续演进
本次项目的顺利交付，不仅验证了 800G InfiniBand XDR 网络在高性能 GPU 集群中的可行性与稳定性，也体现了超擎数智在新一代 AI 集群架构设计、网络规划、光互联部署、物理层交付和性能验证方面的系统级工程能力。
对于网络安全行业而言，AI 能力的落地不只是模型算法问题，更依赖算力、网络、存储和运维体系的协同。安全大模型需要持续训练、持续更新、持续适配新型威胁，而稳定、高效、可扩展的 AI 基础设施正是支撑这一过程的关键。
未来，超擎数智将继续聚焦高性能计算与 AI 基础设施建设，围绕训练网络、存储网络、光互联、集群交付和性能优化，为更多行业客户打造高可靠、高效率、可持续扩展的 AI 集群能力，让每一份算力都能够稳定转化为业务价值。