航锦：128 台 L20 AI 训推一体化集群建设实践：以全栈智算平台支撑大模型应用规模化落地
随着 AIGC、大模型和行业智能应用从概念验证走向生产落地，企业对 AI 算力平台的需求正在发生明显变化。过去，客户更多关注单台 GPU 服务器性能；如今，客户真正需要的是一套能够支撑模型训练、模型微调、批量推理、应用开发、统一调度、安全运维和持续扩展的企业级智算平台。
随着 AIGC、大模型和行业智能应用从概念验证走向生产落地，企业对 AI 算力平台的需求正在发生明显变化。过去，客户更多关注单台 GPU 服务器性能；如今，客户真正需要的是一套能够支撑模型训练、模型微调、批量推理、应用开发、统一调度、安全运维和持续扩展的企业级智算平台。
在这一背景下，超擎数智围绕客户大规模 AI 训推一体化建设需求，完成了一套 128 台 L20 八卡服务器的大型智能算力集群方案设计与交付规划。该项目以约 250P FP8 算力为目标，采用 NVIDIA L20 GPU、InfiniBand NDR 400G 计算网络、100G 存储网络、高性能全闪与混闪存储、统一智算管理平台、NVAIE 软件平台及等保三级安全体系，构建面向大模型训练、微调、推理和多行业 AI 应用开发的全栈智算平台。
本项目不仅是一次硬件资源建设，更是一次覆盖“算力、网络、存储、管理、软件、安全、验收”的系统级工程实践。超擎数智通过成熟的 AI 集群规划设计能力、NVIDIA 生态适配能力、高性能网络集成能力和标准化交付验收体系，帮助客户从“拥有 GPU 资源”迈向“具备可运营、可调度、可扩展的 AI 平台能力”。
一、项目背景：AIGC 应用深化，企业需要训推一体化智算平台
大模型应用正在从“百模大战”阶段进入“行业应用创新”阶段。对于企业客户而言，真正能产生价值的并不是单纯部署一个模型，而是将大模型能力与企业私域数据、业务流程、应用系统和生产环境相结合，形成可持续运行的 AI 应用能力。
在实际落地过程中，企业通常面临三类典型需求：
第一，模型训练与微调需求增长。企业需要结合自有数据，对通用大模型进行微调、指令优化或行业适配，使模型能够更好理解自身业务场景。
第二，模型推理与应用部署需求增长。随着 AI 应用从内部试点走向业务系统，平台需要支撑多模型、多用户、多任务并发推理，对吞吐、时延、弹性调度和服务稳定性提出更高要求。
第三，统一管理与长期运营需求增长。大规模 GPU 集群如果缺少统一资源管理、任务调度、监控告警、安全接入和验收标准，容易出现资源闲置、性能不稳定、故障定位困难和运维成本上升等问题。
本项目的建设目标，是形成一个约 250P FP8 的智能算力集群及统一智算管理平台，支撑客户面向大模型训练、模型微调、推理部署、多模态应用、科学计算和行业 AI 应用的长期发展需求。
二、客户核心挑战
1. 大规模 GPU 集群需要解决资源统一调度问题
本项目建设规模达到 128 台 L20 八卡服务器，共计 1024 张 GPU。如此规模的 GPU 资源，如果仍采用传统人工分配、单机管理或项目组独立使用模式，容易造成资源利用率不均衡、任务排队不可控、GPU 空闲与抢占并存等问题。
客户需要构建统一的算力资源池，将 GPU、CPU、存储和网络资源纳入统一管理，实现训练任务、推理任务、开发任务和测试任务的统一编排与调度，使大规模硬件资源真正转化为可被业务持续使用的算力服务。
2. 训练与推理一体化带来复杂负载管理挑战
训练任务通常运行时间长、通信量大、对 GPU 显存和集群网络要求高；推理任务则更关注响应时延、并发吞吐和服务稳定性。二者如果运行在同一集群中，需要通过资源隔离、队列管理、任务优先级、容错机制和监控能力进行精细化管理。
如果缺少训推一体化平台设计，可能出现训练任务长期占用资源、推理服务响应不稳定、任务失败后恢复困难、模型上线流程复杂等问题。因此，本项目不仅要建设算力集群，还要构建能够支撑训练与推理协同运行的平台能力。
3. 高性能计算网络决定集群扩展效率
在多节点训练场景中，GPU 之间需要频繁进行参数同步、梯度聚合和数据交换。随着节点规模扩大，网络带宽、时延、拥塞控制和拓扑设计会直接影响模型训练效率。
如果计算网络无法支撑大规模分布式通信，即使服务器数量增加，整体训练性能也可能无法线性提升，甚至出现 GPU 等待、通信瓶颈和任务抖动。因此，本项目采用 InfiniBand NDR 400G 计算网络，并通过 Spine-Leaf 架构、1:1 收敛比和 UFM 管理能力，为大规模 GPU 集群提供低时延、高吞吐的通信基础。
4. 存储系统需要同时支撑高性能读写和海量容量
AI 训练与推理任务需要频繁访问训练数据集、模型文件、checkpoint、中间结果和推理数据。不同业务对存储有不同要求：训练任务关注高吞吐和并发访问，模型开发关注数据管理和共享，推理服务关注低延迟读取和稳定响应。
本项目采用全闪 500T 高性能存储和混闪 4PB 文件存储组合，既满足高性能训练和数据缓存需求，也满足大规模数据集、模型文件和业务数据的长期存放需求。通过 100G 存储网络接入，保障存储资源池与计算资源池之间的数据流动效率。
5. 大规模集群验收需要标准化测试体系
AI 集群交付不能只看设备是否上架、系统是否启动、网络是否连通。真正的交付质量，需要通过计算性能、网络性能、存储性能、平台功能、稳定性、扩展性和业务场景测试进行综合验证。
当前行业中，AI 集群验收常见问题包括测试标准不统一、测试覆盖不全面、性能测试不充分、缺少高负载和真实场景验证等。客户需要一套可复核、可量化、可沉淀的验收方法，确保集群不是“临时跑通”，而是具备长期稳定运行能力。
6. 等保三级和安全接入要求提升系统建设复杂度
作为企业级智算平台，集群不仅要具备算力性能，还要具备安全接入、访问控制、日志审计、漏洞扫描、堡垒机、边界防护和网络审计等安全能力。
本项目采用符合等保三级要求的安全接入网络，部署边界防火墙、堡垒机、日志审计、漏洞扫描、网络审计、攻击预警、数据库审计等系统，实现计算资源、管理资源和外部访问之间的安全隔离与合规管控。
三、方案设计：构建 128 台 L20 训推一体化智算集群
围绕客户对高性能算力、统一调度、高速网络、海量存储、安全接入和长期运维的综合需求，超擎数智采用“算力资源池、存储资源池、智算网络、管理平台、安全接入、AI 软件平台”六大模块协同设计，构建面向大模型和行业 AI 应用的训推一体化智算平台。
1. 算力资源池：128 台 L20 八卡服务器，提供约 250P FP8 算力
算力资源池由 127+1 台 L20 八卡服务器组成，总计 1024 张 NVIDIA L20 GPU，提供约 250P FP8 智能算力。每台服务器搭载 8 张 L20 GPU，并配置双路 Intel 至强处理器、大容量 DDR5 内存、本地 NVMe 数据盘、400G InfiniBand 网卡和 BlueField-3 DPU，形成面向训练、推理和图形加速任务的高密度计算节点。
L20 GPU 基于 NVIDIA Ada Lovelace 架构，具备较强的通用 AI 加速、生成式 AI、图形渲染和视频处理能力，适合大模型微调、推理服务、科学计算、图形渲染、多模态应用等多种场景。相比部分高功耗 SXM 服务器方案，L20 具备更好的功耗控制和算力性价比，适合建设大规模、可持续运营的训推一体化集群。
从集群定位来看，该方案不是单纯追求单卡峰值性能，而是强调在大规模部署下的整体有效算力释放、资源利用率、能耗成本和应用覆盖面。对于需要同时支撑训练、推理、图形、科学计算和行业应用开发的客户而言，L20 集群具备较强的综合适配能力。
2. 计算网络：InfiniBand NDR 400G 支撑大规模分布式通信
计算网络采用 InfiniBand NDR 400Gbps 架构，基于 NVIDIA Quantum-2 MQM9790 交换机构建 Spine-Leaf 网络。方案采用 12 台 MQM9790 交换机，配套 400G/800G OSFP 光模块和 IB 光纤跳线，形成面向 128 台 GPU 服务器的高性能计算互联网络。
每台 GPU 服务器配置 2 张 400G InfiniBand 网卡，通过高速计算网络接入集群。整体计算网络采用 1:1 收敛比设计，降低多节点训练场景下的网络阻塞风险，使 GPU 集群在模型训练、分布式推理和高性能计算任务中具备更稳定的通信能力。
该网络方案能够支撑 NCCL 通信、分布式训练、跨节点数据交换等典型 AI 负载。通过 UFM 集群网络管理软件，平台可实现对 InfiniBand Fabric 的状态监控、链路管理、拓扑可视化和故障定位，为大规模集群运行提供网络可观测能力。
3. 存储资源池：全闪 + 混闪组合兼顾性能与容量
存储资源池采用高性能全闪存储与大容量混闪文件存储组合。其中，全闪存储提供 500T 高性能数据空间，主要支撑高频训练数据访问、模型 checkpoint、热点数据缓存和高吞吐读写任务；混闪文件存储提供 4PB 容量空间，用于承载大规模数据集、模型文件、历史数据和长期归档内容。
该设计避免了单一存储形态难以兼顾性能与容量的问题。对于训练任务，全闪存储可提升高并发读写效率，减少 GPU 等待数据的时间；对于推理和应用开发任务，混闪文件存储可提供更大的数据承载能力，满足多业务、多模型、多数据集长期使用需求。
存储网络采用 100G 以太 Spine-Leaf 架构，存储节点提供双 100G 上行能力，使计算节点与存储资源池之间具备稳定的数据访问通道。
4. 网络分层：计算、存储、管理、业务和安全接入相互解耦
本项目并未将所有流量混合在同一网络中，而是按照业务属性进行分层设计：
计算网络负责 GPU 节点间高性能通信，采用 InfiniBand NDR 400G；
存储网络负责计算节点与存储资源池之间的数据访问，采用 100G 以太网络；
管理网络包含带内业务管理和 OOB 带外管理，支撑集群平台、设备运维和故障处理；
业务网络采用核心、汇聚、接入分层架构，支撑业务应用访问；
安全接入网络按等保三级要求建设，承载边界防护、审计和外部访问控制。这种分层设计能够减少不同类型流量之间的相互干扰，提升系统稳定性和安全边界清晰度。尤其在大规模集群中，计算、存储和管理网络的解耦，有助于降低故障扩散范围，提升运维效率。
5. BlueField-3 DPU：提升网络、存储与安全卸载能力
每台服务器配置 BlueField-3 DPU，用于提升网络、存储和安全业务的卸载、加速与隔离能力。DPU 可以将部分网络处理、存储访问和安全能力从 CPU 中卸载出来，降低主机 CPU 负担，提升整体数据处理效率。
在大规模 AI 集群场景中，DPU 的价值不仅体现在单点性能提升，还体现在长期演进能力。通过 DPU 与高速以太网络、存储网络和管理平台协同，集群可为未来多租户隔离、裸金属管理、网络遥测、安全策略下沉和高性能数据面能力预留空间。
6. AI 软件平台：NVAIE 与超擎AI Engine算力管理平台支撑训推一体化
在软件层面，方案引入 NVAIE ，并结合超擎算力调度平台，形成从基础资源到模型应用的管理与开发能力。
NVAIE 可加速数据科学工作流，支持模型开发、推理服务、企业级安全与稳定运行，并结合 NVIDIA NeMo、TensorRT、TensorRT-LLM、Triton、NIM 等能力，支撑生成式 AI、大规模推理和模型应用部署。
超擎AI Engine则提供资源池管理、训练任务管理、模型推理部署、集群资源视图、任务视图、性能监控、任务工作流管理、多维故障感知、自动任务容错、Flash CheckPoint、训练和推理加速等能力，使底层算力资源能够以平台化方式服务上层业务。
通过软件平台建设，客户不仅拥有 GPU 集群，还具备模型训练、推理部署、应用开发、资源监控和智能运维的一体化能力。
7. 安全体系：等保三级架构保障企业级访问安全
安全接入网络按照等保三级架构设计，部署外网防火墙、内网防火墙、DMZ 交换机、堡垒机、日志审计、漏洞扫描、网络审计、攻击预警、数据库审计等安全组件。
该设计将外部访问、业务系统、管理系统和核心集群资源进行分区隔离，并通过访问控制、审计留痕、漏洞检测和攻击预警能力，降低非法访问、越权操作和安全事件风险。
对于企业级 AI 平台而言，安全能力不是附加项，而是平台可上线、可运营、可合规的必要条件。
四、实施体系：从方案设计到验收交付的系统级工程能力
128 台八卡服务器规模的 AI 集群建设，不是简单设备堆叠，而是一项覆盖机房规划、设备部署、网络布线、系统集成、平台调试、安全配置和验收测试的系统工程。超擎数智依托成熟的 AI 集群建设与交付体系，为客户提供从架构设计到项目验收的全流程服务。
1. 架构设计服务：从业务目标反推技术架构
在项目初期，超擎数智围绕客户的算力规模、训练推理场景、存储容量、网络性能、安全要求和运维模式进行整体规划，完成智算中心架构设计。
设计内容覆盖硬件设备、网络拓扑、存储系统、计算资源配置、管理资源池、安全接入网络和业务网络边界。通过统一设计，避免后期出现算力、网络、存储和管理系统割裂的问题。
2. 硬件部署服务：高密度集群的标准化落地
在硬件部署阶段，超擎数智围绕 128 台服务器、IB 交换机、以太交换机、OOB 交换机、管理服务器、存储服务器和安全设备进行统一落位规划。
交付团队提前规划设备位置、机柜空间、供电需求、线缆长度、线缆标签、颜色管理和端口映射。现场实施过程中完成服务器和交换机上架加电、网络布线、标签粘贴、物理连通性测试和线缆捆扎，确保高密度集群在物理层具备清晰、规范、可维护的部署基础。
3. 集群交付服务：计算、存储、管理、安全多系统联调
在系统集成阶段，超擎数智完成计算网络系统联调、存储和业务网络系统联调、管理网络系统联调、集群管理平台部署和安全设备部署。
计算网络侧重点在 InfiniBand Fabric 连通性、端口速率、链路状态、UFM 管理和节点通信验证；存储网络侧重点在 100G 链路、存储访问、带宽和 I/O 稳定性；管理网络侧重点在带内管理、OOB 带外管理、设备纳管和运维访问；安全侧重点在边界防护、访问控制、堡垒机、审计和日志留存。
通过多系统联调，平台从单点设备安装升级为可统一管理、可承载业务、可安全访问的智算集群。
4. 技术支持与培训：让客户真正用好集群
项目交付不仅要完成系统上线，还需要帮助客户掌握平台使用和基础运维能力。超擎数智在交付过程中提供技术支持、故障排查、问题解决和用户培训，帮助客户理解集群网络、算力调度、平台操作、监控告警和日常运维流程。
通过培训和文档移交，客户能够从“依赖厂商完成基础操作”逐步过渡到“具备自主使用和基础运维能力”，提升平台长期运营效率。
五、项目验收：以标准化测试保障交付质量
AI 集群交付的关键，不只是建设完成，而是必须通过系统化验收确认其性能、稳定性和可用性。针对行业中验收标准不统一、测试覆盖不全面、性能验证不充分等问题，超擎数智建立了覆盖算力、网络、存储、平台和稳定性的集群验收规范。
1. 算力性能测试
算力性能测试包括单节点与多节点模型训练测试、模型推理测试、集群稳定性和收敛性测试、MFU 测试等内容。
其中，模型训练吞吐量 Tokens/Sec 用于衡量训练过程中模型每秒处理的 token 数量，能够反映训练效率；MFU 用于衡量模型实际计算吞吐对峰值算力的利用率，能够反映集群在通信、内核、功耗和系统开销影响下的有效算力释放情况。
通过这些测试，可以避免只看理论峰值算力，而是更真实地评估集群对实际模型任务的支撑能力。
2. 网络性能测试
网络性能测试包括 NCCL 测试、IB 网络时延测试、带宽测试、压力测试、UFM HA 切换测试、扩展性测试和登录访问测试。
对于大规模 GPU 集群而言，NCCL 测试能够有效验证多节点通信效率；IB 时延和带宽测试可验证计算网络链路质量；UFM HA 切换测试可验证网络管理系统高可用能力；压力测试和扩展性测试则用于确认集群在高负载和扩容场景下的稳定性。
3. 存储性能测试
存储性能测试包括 IOPS 测试、读写带宽测试、存储容错性能测试和跨 SU 分组压力测试。
这些测试能够验证全闪存储和混闪文件存储在高并发读写、训练数据加载、checkpoint 写入和故障容错场景下的表现，避免存储成为训练和推理任务的瓶颈。
4. 平台功能与稳定性测试
平台测试覆盖资源池管理、任务提交、模型推理部署、集群资源视图、任务视图、监控告警、多维故障感知、自动任务容错、Flash CheckPoint 等能力。
通过平台功能测试，确保客户不仅拥有底层硬件资源，也能够通过统一管理平台完成资源申请、任务运行、状态查看、异常处理和业务交付。
六、客户收益：从大规模硬件集群到可运营智算平台
1. 获得约 250P FP8 的本地智能算力能力
项目建成后，客户将获得由 128 台 L20 八卡服务器组成的大规模本地 AI 算力资源池，能够支撑大模型训练、模型微调、批量推理、多模态应用、科学计算和行业 AI 应用开发，为后续业务创新提供充足算力基础。
2. 提升训推一体化平台能力
通过 L20 GPU 集群、统一调度平台、NVAIE 和模型推理部署能力，客户可在同一平台上开展训练、微调、推理和应用开发，减少训练平台与推理平台割裂带来的管理复杂度。
3. 提升 GPU 资源利用率
通过资源池化、任务调度、队列管理、任务视图、性能监控和自动容错能力，平台能够提升 GPU 资源分配效率，减少资源闲置、任务冲突和人工协调成本。
4. 提升多节点训练效率
InfiniBand NDR 400G 计算网络、1:1 收敛比设计、UFM 网络管理和 NCCL 测试体系，共同保障多节点训练通信效率，降低网络瓶颈对 GPU 算力释放的影响。
5. 提升数据访问与存储承载能力
全闪 500T 与混闪 4PB 的组合，使平台兼顾高性能读写与大容量存储需求。对于训练数据集、模型文件、checkpoint 和应用数据，平台能够提供更稳定的数据支撑能力。
6. 提升平台安全和合规能力
通过等保三级安全接入架构、防火墙、堡垒机、日志审计、漏洞扫描、网络审计、攻击预警和数据库审计等能力，平台能够满足企业级 AI 系统对边界安全、访问控制和审计留痕的要求。
7. 提升交付质量可验证性
超擎数智通过算力、网络、存储、平台和稳定性多维测试，将集群交付质量从“经验判断”转化为“指标验证”。这有助于客户明确验收标准，也为后续扩容、运维和性能调优提供基线依据。
8. 为后续 AI 应用规模化扩展预留空间
本项目不仅支撑当前训练与推理需求，也为后续 AI 应用开发、模型服务、多租户运营、行业模型部署和算力服务化提供基础。随着业务场景扩展，客户可在现有架构上继续扩展计算节点、存储容量、模型应用和平台服务能力。
七、应用场景：支撑多行业 AI 与高性能计算任务
本项目所建设的 L20 训推一体化集群具备较强的通用性，可适配多类 AI 和高性能计算场景。
在人工智能和机器学习领域，平台可用于大模型微调、深度学习训练、批量推理和模型服务部署。
在医疗和生命科学领域，平台可支撑医学影像处理、智能诊疗、基因组学、生物信息学和科研计算任务。
在工业制造领域，平台可用于产品设计、仿真分析、智能质检、生产数据分析和工艺优化。
在图形与视频处理领域，L20 GPU 可支撑复杂图形渲染、视频编辑、3D 设计和多模态内容生成。
在金融和科研领域，平台可用于金融建模、风险分析、科学计算和大规模仿真任务。
通过统一算力平台和 AI 应用开发能力，客户可以将底层 GPU 集群转化为面向多业务部门、多模型任务和多行业场景的 AI 生产力平台。
八、结语：以全栈工程能力支撑智算平台规模化建设
128 台 L20 八卡服务器集群的建设，代表了企业 AI 平台从小规模试点走向大规模运营的重要阶段。此类项目的复杂度不只在于 GPU 数量，更在于算力、网络、存储、软件、安全和验收体系之间的系统协同。
本项目中，超擎数智围绕客户训推一体化建设目标，提供从方案设计、设备选型、网络规划、存储设计、软件平台、安全接入、系统集成到验收测试的全栈服务能力。通过 InfiniBand NDR 高速计算网络、全闪与混闪存储组合、NVAIE 软件平台、超擎算力调度平台和标准化验收体系，帮助客户建设真正可运行、可调度、可验证、可扩展的企业级智算平台。
对于正在推进大模型和行业 AI 应用落地的企业而言，智算平台建设不是一次性硬件采购，而是一项长期能力工程。未来，超擎数智将继续依托 NVIDIA Compute 与 Networking 双 Elite 合作伙伴能力、AI 集群工程交付经验和全栈解决方案能力，助力更多客户构建面向大模型时代的高性能智能算力基础设施。