如何为 AI 集群选择网络交换机？五个关键步骤

英文版：5 Key Steps to Choose Network Switches for an AI Cluster

引言

将GPU集群投入生产时，网络是最容易被低估的一环。计算资源的成本会被反复核算，而交换机的选型时间与依据，通常会被忽略，往往要到组网阶段才会被认真对待。届时若发现网络中的交换机端口数量不足或带宽不够，调整空间有限，GPU算力也可能因网络瓶颈而出现闲置导致资源浪费。

诸如以上问题，可以在交换机选型的时候进行规避和解决。本指南将AI集群网络交换机的选型拆分为五个关键步骤。适合本地部署、混合云、AIDC网络集群和云服务场景下的交换机选型。

为什么选型不能从"买哪台交换机"开始

交换机选型的时候如果先看型号与报价，容易遗漏核心评估要素，无法完整并准确判断交换机数量和规格。交换机适配性由集群负载、部署规模和组网拓扑决定。拓扑未定，交换机型号、采购数量就无从精准核定。

如果跳过需求梳理与组网拓扑设计直接采购设备，各类隐患往往要到组网实施阶段才集中暴露和显现。这些隐患对算力集群影响尤为突出：一旦网络形成性能瓶颈，GPU 会因等待数据收发频繁空转、算力闲置，增加AI业务落地时间。综上，交换机选型必须以实际业务需求为基准。

第一步：明确工作负载与集群规模

不同工作负载对网络的要求差别较大：

• 大规模分布式训练： 节点间通信最频繁，对带宽和时延的要求较高。每一轮梯度同步都需在大量GPU之间交换数据，这类集合通信的完成时间会影响集群的扩展效率。

• 中小规模训练： 带宽需求相对较低，无损以太网通常可以满足。

• 生产推理： 对极致带宽的要求低于训练，但更看重高可用和稳定吞吐，以应对实时请求。

集群业务以大规模模型训练为主时，对网络带宽与无损传输性能要求高；若侧重在线推理，则可选用性价比更高的经济型组网配置。

集群部署规模直接决定交换机的角色，同时决定是否需要搭建计算网络。例如，单节点内部多张 GPU 可依靠 NVLink、NVSwitch 实现互通，节点内数据交互无需经过交换机；但多节点算力集群、或存在跨节点数据交互需求时，就必须搭建由高速交换机构成的计算网。且随着集群体量越大，后端组网层级与交换机配置数量随之增多。

因此选型阶段应先统计总 GPU 数量与单机 GPU 和网卡配置，确认是否存在跨节点组网需求，再以此为依据敲定后端网拓扑、GPU 服务器对应的 AI 网络交换机型号及采购数量。

第二步：确定网络拓扑

在明确业务负载与集群规模后，即可进入网络拓扑设计环节。拓扑设计优先级高于交换机规格选型，因为拓扑架构直接决定组网层级、交换机数量、端口消耗与转发模型，是后续设备选型的核心前提。

当前 AI 算力集群主流拓扑分为：

• Spine-Leaf（脊叶两层 Clos）：作为数据中心的通用标准拓扑，该架构凭借高扩展性与极具竞争力的性价比，成为当前最主流的网络设计。它能够完美适配中小规模 AI 集群，并支持向更大规模平滑演进。

• Fat-tree（胖树）：对称无阻塞多级 Clos 架构，全网节点带宽对等、无收敛损耗，是大规模 GPU 训练集群的主流组网方案，可满足高密度、高并发跨节点通信需求。

• Rail-optimized 拓扑：NVIDIA 针对 GPU 集群 AllReduce 集合通信特征专项优化的组网模式，极致适配超大规模模型训练场景。

由于AI集群规模、流量密度和流量走向不同，所以网络拓扑须根据当前业务规模与未来扩展需求进行匹配。在确保无损通信与吞吐性能的前提下，优先选择层级最简、效率最高的拓扑方案。

第三步：按拓扑推导交换机规格

明确这拓扑框架后，即可以此为基础，进一步测算交换机的整机容量与端口规格，并最终推导求出所需的交换机总数与精确的组网成本。

交换容量：单台能力的上限

交换容量是衡量以太网交换机整机吞吐能力的上限指标。随着 AI 算力需求的爆发，当前面向 AI 场景的高端以太网交换机主流规格已达到 51.2Tbps，并朝向102.4Tbps演进。InfiniBand交换机在衡量整机性能时，更常采用双向聚合带宽作为核心参数。虽然技术阵营与统计口径有所不同，但从总吞吐量来看，NVIDIA 新一代 Quantum-X800（支持 800G XDR 端口）的双向聚合带宽已达到 115.2Tbps，在绝对性能上领先于当前主流的以太交换机。

而在实际规划中，交换机容量并非盲目追求越高越好。决策者需要将设备放回网络拓扑中，结合架构、规模与生态进行综合权衡：

• 拓扑与规模匹配：单台交换机容量越高，构建同等规模无阻塞网络所需的层级就越少、设备台数越低。这能带来更短的跨设备时延、更低的总体拥有成本（TCO）以及更简化的运维。

• 生态选择：InfiniBand网络由单一厂商独家主导，面临技术生态锁死、后续扩容成本高昂的风险。因此，针对中小型 AI 训练集群或 AI 在线推理负载，具备开放性与高性价比的高端以太网交换机显然是更优的选择。

最佳策略是以业务需求定拓扑，以拓扑上限选容量，并参考行业头部大厂的选型趋势，来确定最适合未来网络扩展的设备规格。

端口：速率和数量要匹配网卡

交换机端口规格必须与服务器网卡精准对齐，否则将因速率不匹配产生性能瓶颈。目前，RoCE网和InfiniBand网均已步入AI时代，二者在AI基础建设中的差异之一在于物理形态：

• RoCEv2：主流基于 51.2Tbps 芯片，提供多形态互连方式。以太网具备极强的 Breakout兼容性，可跨品牌将高速物理口拆分为 200G 或 100G 逻辑端口，实现对企业存量异构网卡的高效兼容，最大化保障既有资产投资。

• InfiniBand：以 NVIDIA Quantum-X800 为代表，凭借 200G SerDes 技术将整机容量推高至 115.2Tbps，物理面板可容纳多达 144个800G端口。虽然 IB 硬件上也支持一分多，但其技术路线更推崇 1:1 纯直连以追求极致低延迟，且拆分时必须严格绑定 NVIDIA 生态，无法跨品牌兼容。

确定网卡速率以对齐端口速率后，结合拓扑层级计算节点覆盖数，即可推算出所需的端口数量或一分多线缆方案，据此选择合适的AI交换机。具体可参考64-Port 800G vs. 128-Port 400G Ethernet Switch

芯片：决定交换容量与生态

一台交换机的交换容量、端口能力和转发特性，主要由其交换芯片决定，芯片也关系到整个生态的兼容性。主流交换芯片来自 NVIDIA、Broadcom、Marvell 和 Cisco 四家厂商，各有定位；以太网芯片当前以 51.2Tbps 为最主流的容量档位，InfiniBand 则自成体系。

• NVIDIA Spectrum-4：51.2Tbps 以太网交换芯片，与 NVIDIA GPU、ConnectX 网卡、BlueField DPU 原生协同，属于英伟达开放式算力生态，尤其适合在英伟达平台上构建 RoCE 无损网络。

• NVIDIA Quantum系列：InfiniBand 交换芯片，集成 SHARP 在网计算，与英伟达 GPU、网卡形成紧密的 InfiniBand 封闭式整体生态，面向超大规模训练。

• Broadcom Tomahawk 5：51.2Tbps 以太网交换芯片，走完全开放的生态路线，兼容性广、量产成熟，是当前以太网交换机中应用最广泛的芯片之一。

• Marvell Teralynx 10：51.2Tbps 以太网交换芯片，原生支持 SONiC 等开源操作系统，主打开放网络与多供应商生态，适合需要软硬件解耦、供应链多元化的云数据中心。

• Cisco Silicon One G200：51.2Tbps 以太网交换芯片，兼容标准以太网，依托思科自有的系统与运维生态，可覆盖 AI/ML、web-scale、服务商网络等多种角色。

芯片决定了设备归属哪个生态，以及长期的兼容性，尤其是在需要端到端的整体化解决方案时。因此，选定一款芯片，相当于选定了与之配套的网卡、网络操作系统、软件栈和供应链。

第四步：考虑交换机的功能特性

在交换容量、端口规格等硬件参数持平的前提下，交换机的实际组网适配能力与运行稳定性，体现在无损网络能力、遥测与可视化以及智能管理与自动化的差异上。

1. 无损网络能力

无损网络能力是 AI 交换机的基础准入门槛。NVIDIA InfiniBand 交换机原生具备无损能力，但价格昂贵；对于大模型训练之外的中小型训练和 AI 推理场景，性价比更高的以太网交换机更为合适。

达成无损网络的以太交换机需要具备：

• PFC / ECN：通过精准的链路流控与拥塞通知机制避免网络丢包，性能可以接近 InfiniBand，是当前中高端 AI 以太网交换机的标配能力。

• DLB：在多条等价路径间动态分配流量，避免因哈希不均导致的局部链路拥塞，提升整网带宽利用率。

• AR：实时感知链路状态并动态选路，在出现拥塞或链路故障时自动绕行，保障大规模训练的性能稳定。

其中DLB 与 AR 属于高端调度能力，但在当今的大模型训练与超算网络中，二者已从"加分项"逐渐成为刚需配置。

以N9570-128QC为例，支持全局自适应路由与RTTCC拥塞控制技术，带宽利用率是传统RoCE网络的1.6倍；在AI网络链路异常时，仍保持高性能——可达传统RoCE网络的2.3倍。

2. 遥测与可视化

伴随 AI 集群规模不断扩容，依靠人工排查丢包、时延故障的工作量呈指数上升。交换机搭载 INT 带内遥测、队列深度及丢包可视化能力后，可实现全网运行状态全可视化，故障定位从小时级压缩至分钟级；集群体量越大，网络可观测能力带来的运维收益越高。同时，最新的MRC协议，需要交换机具备更精细的telemetry，方能发挥多路径负载均衡的最优性能。

3. 智能管理与自动化

随着设备大批量上线与后续持续扩容，单台手工配置效率偏低，难以匹配 AI 业务快速投产的建设节奏。交换机自动化批量部署、集约化运维十分重要。其落地效果，取决于网络操作系统的开放程度与自动化适配能力。

依托SONiC 开源操作系统 + ONIE 自动化装机环境的组合方案，可实现硬件与厂商 OS 解绑，摆脱单一品牌锁定，显著提升组网部署与后期扩容灵活性。超擎数智全系列高性能交换机原生兼容 SONiC 与 ONIE，并配套 RoCE 一键批量部署工具，能够一次性批量下发 ECN、PFC、自适应路由等无损网络关键配置，规避逐条手工配置的冗余工作量，快速交付AI算力网络。

第五步：评估落地约束与供应商

规格和路线确定后，最后一步是评估落地约束。设计方案需落实到具体的机房和供应链条件，这一步评估的正是这些约束。

落地约束

落地阶段需重点核对以下约束：

• 机房电力与空间： 交换机的功耗和占用的机架空间受机房供电能力和物理布局限制，采购前需确认机房条件可满足设备要求。例如，N9570-128QC最大功耗约3500W、占4RU，N9520-64OC最大功耗约2982W、占2RU。

• 网络分层： AI集群包含计算网络、存储网络、带内管理网络、带外管理网络等多套网络，性能要求各不相同。对高速网络（如计算网络）配置高性能交换机，对低速管理网络配置普通交换机，避免资源错配与成本浪费。

• 光模块与线缆配套： 交换机需配套对应速率和距离的光模块及DAC、AOC、AEC等线缆，配套器件的兼容性和采购可得性会影响上线速度和组网成本。

供应商评估

选择供应商时，可从以下维度评估：

• 产品线完整度： 能否同时提供交换机、光模块和线缆，并组成经过测试的整体方案，以降低器件不匹配的风险。

• 兼容性： 设备与主流GPU服务器、网卡及网络操作系统的适配情况。

• 供货与交期： 是否设有本地仓库、货期是否稳定，直接影响项目的上线时间。

• 技术支持： 从方案设计到部署交付的全链条服务能力。

以超擎数智为例，其提供从交换机到光模块、线缆的全栈方案，配套产品经过适配测试，海外多地设有本地仓库。全产品线配套以整体方案的一致性，降低兼容风险和组网成本。

前述步骤在实际项目中容易遗漏。超擎数智团队将其整理为可逐项核对的清单，按顺序执行，可有效减少交换机选型返工：

• 确认工作负载类型和集群GPU规模，判断是否需要跨节点组网。

• 选择网络拓扑并确定层级。

• 按拓扑反推所需的交换容量、端口速率与数量，以及芯片路线。

• 查看交换机是否有适合AI业务的功能特性。

• 核对机房的电力与空间约束，规划光模块和线缆配套。

• 评估供应商的产品线完整度、兼容性、交期和技术支持。

结语

AI集群网络交换机选型是一个从需求到设备的推导过程，而非一次孤立的采购。沿着上述五个关键步骤推进，选型结果可以与实际需求保持一致，减少资源浪费。如果在这个过程中需要从交换机到光模块、线缆的整体方案支持，可以结合自身集群的规模和工作负载，联系超擎数智进一步评估具体的型号和配套方案。