优化 AI 推理工作负载：降低时延、提升吞吐并控制成本

目录

1. 引言
2. AI Training vs AI Inference Workloads
   • 算力需求
   • 成本差异
3. Networking Challenges in AI Inference Workloads
   • 延迟
   • 吞吐量
   • 成本
4. Networking Strategies for AI Inference Workloads
   • Network Options: InfiniBand vs. RoCE
   • Interconnect Options: DAC vs AOC vs Optical Transceiver
5. Chaoqing Lossless Networking Solutions for AI Inference Workloads
   • Chaoqing InfiniBand Network Solutions
   • Chaoqing RoCE Networking Solutions
6. Conclusion

引言

AI Inference Workloads 指的是模型将训练阶段学到的知识应用于新数据，从而生成预测、决策或输出的过程，例如语言模型生成文本、图像识别模型识别物体等。随着生成式 AI、大语言模型（LLM）以及实时智能应用的发展，推理需求正快速增长。

在这一背景下，推理系统需要同时满足低延迟、高并发与成本可控的要求。随着部署规模扩大，其性能表现也不再仅依赖算力提升，数据在节点之间的传输效率正变得愈发关键。因此，优化 AI Inference Workloads，不仅要关注计算资源，还需要构建高性能网络与高效互连架构，以支撑整体性能与扩展能力。

AI Training vs AI Inference Workloads

在实际AI基础设施设计中，Training 与 Inference 的核心差异主要体现在算力需求与成本结构上。如果需要了解更完整的对比，可以参考文章：Training vs Inference: Why Your AI Network Architecture Needs to Be Different

算力需求

AI Training 是典型的计算密集型工作负载，需要处理大规模数据集并持续进行模型参数更新，对计算能力、并行度以及吞吐性能提出极高要求。此类场景通常依赖通用 GPU 架构，以实现高吞吐计算能力和大规模并行计算能力。同时，训练过程中涉及频繁的梯度同步，对网络带宽与延迟也提出较高要求。

相比之下，AI Inference更强调响应效率和服务稳定性。单次请求的计算规模相对较小，但请求数量庞大且具有持续性，对系统端到端延迟更加敏感。在这一背景下，推理场景逐渐引入专用推理芯片，例如 Google 的 TPU、Amazon 的 Inferentia2，以及 Groq 的 LPU。这些硬件通过针对性优化，在能效和响应速度方面具有明显优势。

Key Takeaway：

在 AI Inference Workloads 中，计算性能并非唯一决定因素。即使采用专用推理硬件，节点之间的数据传输效率仍然影响整体系统性能。网络架构设计依然是影响推理性能的重要因素。

成本差异

AI Training 通常属于阶段性投入。模型训练往往集中在特定周期内完成，例如数天或数周的高强度计算，其核心目标是尽快完成模型收敛。在训练阶段，成本更多体现为一次性或阶段性支出，优化重点在于缩短训练时间、提升算力利用率以及资源调度效率。

AI Inference 则呈现出完全不同的成本特征。推理系统通常需要长期运行，以持续响应业务请求。每一次用户请求、每一次模型调用，都会持续消耗计算资源与能源。这意味着，推理成本不会随着模型完成而终止，而是会随着业务规模的扩大持续累积。

Key Takeaway：

在大规模 AI Inference 集群中，不同节点之间需要频繁通信和数据交换，网络设备和互连方案也会成为整体成本的重要组成部分。

Networking Challenges in AI Inference Workloads

随着推理规模的扩大，网络在系统中的作用逐渐从辅助功能转变为需要重点关注的组成部分。在实际部署中，AI Inference Workloads网络挑战主要体现在延迟、吞吐能力以及成本三个方面。

延迟

延迟往往是最直观且最敏感的挑战。在实时推理场景中，用户请求需要在极短时间内完成响应，而整体时延不仅取决于计算过程，还包括数据在不同节点之间的传输时间。主要影响因素包括：

• 网络路径过长或拓扑设计不合理
• 拥塞控制机制不完善
• 丢包导致的重传开销

在多节点协同推理（如模型并行或流水线推理）架构中，每一次跨节点通信都会叠加延迟。一旦网络稳定性不足，延迟不仅会增加，还可能出现明显抖动，从而影响整体服务体验的一致性。

吞吐量

吞吐量问题主要体现在高并发推理场景中。当系统需要同时处理大量请求时，网络必须具备足够的带宽能力来支撑整体流量。关键问题包括：

• 带宽不足导致请求在队列中堆积
• 流量突发时引发网络拥塞
• 高负载下整体响应时间被拉长

在实际环境中，吞吐量与延迟往往是相互关联的。当网络负载接近上限时，延迟通常也会同步上升。因此，仅提升带宽并不能完全解决问题，还需要结合流量调度机制与拥塞控制策略进行优化。

成本

成本贯穿于AI推理系统的整个生命周期，是网络设计中不可忽视的约束条件。主要体现在以下几个方面：

• 网络设备与不同技术方案的初始投入成本差异
• 不同互连方案带来的功耗成本差异
• 布线复杂度提升所带来的运维成本增加

由于AI推理系统通常是长期运行的基础设施，网络方案在规模化部署后，其成本差异会被显著放大。

从延迟、吞吐量到成本可以看出，AI Inference Workloads 的挑战已经不再局限于单一维度的算力问题。随着推理规模的扩大，系统性能越来越依赖于数据在集群内部的高效流动能力。因此，在优化 AI Inference Workloads 时，关注点需要从"提升算力"进一步扩展到"系统级优化"。这不仅包括计算资源的配置，还必须结合具体业务负载特点，选择合适的网络架构与互连方案。换句话说，网络已经不再只是支撑层，而是直接影响推理效率与整体成本结构的核心组成部分。

Networking Strategies for AI Inference Workloads

Network Options: InfiniBand vs. RoCE

在 AI 推理集群中，当前主流的高性能网络方案主要包括 InfiniBand 和 RoCE（RDMA over Converged Ethernet）。InfiniBand 具备极低延迟与高带宽特性，并提供成熟的拥塞控制机制。在对性能与稳定性要求极高的 AI Inference Workloads 场景中，其优势尤为明显。

相比之下，RoCE 基于以太网实现 RDMA，其中 RoCE v2 是当前更为广泛采用的版本。RoCE v2 在兼容性与成本控制方面更具优势，但其性能表现高度依赖于无损网络的设计与调优能力。如果需要进一步更系统的对比，可以参考我们的详细解读文章：InfiniBand vs. RoCE for AI Inference Workloads: Performance, Cost, and Scalability

InfiniBand 与 RoCE 在 AI Inference Workloads 中的差异主要体现在以下几个方面：

• 带宽与延迟：InfiniBand 在延迟控制与带宽利用率方面通常具有优势，更适用于对性能边界较为敏感的推理任务；RoCE v2 在合理配置下，已能够满足大多数常规推理场景的需求。
• 兼容性与成本：InfiniBand 依赖专用硬件，整体成本较高；RoCEv2 基于标准以太网，兼容性更强，在设备选型与网络演进上更具灵活性，有助于控制总体成本。
• 配置复杂度：InfiniBand 网络架构相对封闭，配置与管理更为简洁；RoCEv2 则需要精细化配置以实现无损网络，从而保障性能与稳定性。
• 生态与供应链：InfiniBand 硬件主要由单一厂商主导；RoCEv2 由多家厂商支持，在供应链与选择空间上更具灵活性

在 AI Inference Workloads 场景中，InfiniBand 与 RoCE 并非简单的替代关系，而是面向不同性能与成本目标的网络选择。前者更适用于对低延迟与确定性要求极高的推理集群，而后者则在兼容现有以太网基础设施、控制部署成本方面更具优势。

Key Takeaway：

实际部署中，优化 AI Inference Workloads 不仅取决于网络类型，还需要结合具体业务规模与架构设计，并进一步匹配合适的互连方案。

Interconnect Options: DAC vs AOC vs Optical Transceiver

对于 AI 推理集群而言，无论是服务器到交换机连接、机架内节点互联，还是相邻机柜与机架间的骨干链路，都需要选择合适的互连方案。常见的三种选项包括 DAC、AOC 和 Optical Transceiver。

DAC 通常用于短距离连接，例如机柜内部，其成本较低，但传输距离受限。AOC 在距离与抗干扰能力之间提供了相对平衡的选择，适用于机柜间连接场景。光模块则具备更高的灵活性，可支持更长距离传输及更复杂的布线环境，但整体成本也相对更高。

在大规模 AI Inference Workloads 中，更常见的做法并不是统一使用单一类型，而是基于不同链路层级进行组合部署，以在性能、布线复杂度与总体拥有成本之间取得平衡。这种分层策略使企业能够在不同网络层级采用更合适的成本与性能组合，而不是追求单一方案的全局最优。对于 AI 推理而言，合理的互连设计应服务于整体架构目标：满足当前业务负载，同时为未来扩展预留空间，同时避免在不必要的地方过度投入。

Chaoqing Lossless Networking Solutions for AI Inference Workloads

超擎数智提供面向 AI Inference Workloads 的无损网络解决方案，覆盖 InfiniBand 与 RoCE 两种主流技术路径，并针对不同架构与带宽需求进行优化设计。关于无损网络在 AI 推理场景中的架构设计、以及部署，可进一步参考Building Lossless Network: Chaoqing's Solutions for AI Inference Workloads。

Chaoqing InfiniBand Network Solutions

Infiniband XDR Solution for Rubin & Blackwell

超擎数智面向 Rubin / Blackwell 架构构建基于 InfiniBand XDR 的网络方案，采用 NVIDIA Quantum-X800 Q3400-RA 交换机作为统一的 Spine 与 Leaf 平台，构建两层 Fat-Tree 架构。

该方案提供高带宽、低延迟的节点间通信能力，适用于大规模 AI 推理场景。在多节点协同推理及高并发负载下，能够有效保障系统性能与扩展能力。

Infiniband NDR Solution for Blackwell & Hopper

超擎数智面向 Blackwell / Hopper 架构构建基于 InfiniBand NDR 的网络方案。该方案支持单节点 1×400G 或 2×400G 灵活接入，提供高带宽、低延迟通信能力，适用于较大规模 AI 推理场景。

（图片中 RoCE 修改为 NDR）

Chaoqing RoCE Networking Solutions

1.6T RoCE Solution for Rubin

超擎数智面向 Rubin 架构构建 1.6T RoCE 网络方案。该方案采用 NVIDIA SN6600-LD 交换机作为 Spine 与 Leaf 的统一平台，构建两层 Fat-Tree 架构。

该方案适用于超大规模 AI 推理场景，在多节点协同与高并发负载下，在提供高带宽通信能力的同时兼顾以太网架构的部署灵活性与成本优势。

800G RoCE Solution for Rubin & Blackwell

超擎数智面向 Rubin / Blackwell 平台构建 800G RoCE 网络方案。该方案基于两层 Fat-Tree 架构，采用 Chaoqing N9500-64OC 交换机部署于 Spine 与 Leaf 层。

计算节点通过 400G RoCE 接入 Leaf 层，Spine 与 Leaf 之间通过 2×400G RoCE 链路互联，在性能与成本之间提供更具性价比的部署选择。

Conclusion

随着 AI 应用从训练阶段走向大规模推理部署，AI Inference Workloads 已经成为数据中心中最关键的负载之一。在这一过程中，单纯依赖算力扩展已无法满足性能与成本的双重需求。网络正在从"支撑角色"转变为"核心基础设施"。延迟、吞吐与成本，构成了推理网络设计的三大关键维度。因此，优化 AI Inference Workloads，本质上是一次系统性优化：不仅要提升计算能力，更要构建高性能、可扩展且成本可控的网络与互连架构。