NVIDIA Groq 3 LPX 是面向 Vera Rubin 平台的低延迟推理加速器，采用 GPU+LPU 异构架构，优化大模型解码性能，在长上下文与高并发场景下同时实现高吞吐与可预测低延迟，助力智能体系统与新一代 AI 应用发展。

NVIDIA Groq 3 LPX：面向 Vera Rubin 平台的低延迟推理加速器

参考阅读：

Inside NVIDIA Groq 3 LPX: The Low-Latency Inference Accelerator for the NVIDIA Vera Rubin Platform | NVIDIA Technical Blog

引言

随着生成式 AI 和智能体系统的兴起，AI 推理的需求正在发生根本性变化。传统以吞吐量为核心的架构难以在高并发、长上下文场景下兼顾低延迟和可预测性，尤其是大规模 Transformer 模型在解码阶段按序生成令牌时，延迟直接影响用户体验。在 GTC 2026 上，NVIDIA 推出了 Groq 3 LPX，采用异构机架级架构，旨在同时满足低延迟、高吞吐量和大上下文的需求，为智能体系统提供接近“思维速度”的连续推理能力。

NVIDIA Groq 3 LPX 出现的背景

在AI的工作流中，推理工作负载并非单一任务，而是由性质截然不同的阶段组成。

Stage	Characteristics	Bottleneck	Ideal Hardware
Prefill	Processes a large volume of input tokens and builds the KV Cache.	Compute-intensive; requires large memory capacity.	GPU
Decode - Attention	Performs full-context attention on the accumulated KV Cache.	Memory bandwidth-intensive; benefits from high-capacity HBM.	GPU
Decode - FFN/MoE	Feed-Forward Network / MoE (Mixture of Experts) execution.	Compute-intensive with fixed data patterns.	LPU

低延迟推理的挑战正在加剧：用户对响应性要求越来越高，多步推理和更长上下文使顺序 token 生成成为性能瓶颈；前缀缓存虽降低了 Prefill 成本，却增加了 Decode 的相对负担；在 Agent 系统中，频繁模型调用导致延迟在每一步累积，任何波动都可能破坏整体体验。正是在这种复杂、延迟敏感且高吞吐的推理环境下，NVIDIA Groq 3 LPX 应运而生。

NVIDIA Groq 3 LPX 是什么

NVIDIA Groq 3 LPX 是 NVIDIA Vera Rubin 平台上的机架级推理加速器，专为智能体系统设计，能够同时满足低延迟、高吞吐量和大上下文的计算需求。Groq 3 LPX 采用协同设计架构，突破了传统同构硬件在吞吐量与延迟之间的权衡，实现多阶段推理的高效执行。

LPX 的关键性能指标包括：

AI 推理算力：315 PFLOPS
片上 SRAM 总容量：128 GB
片上 SRAM 带宽：40 PB/s
纵向扩展芯片密度：256 片
纵向扩展带宽：640 TB/s

每块 LPU 配备 96 条 C2C 链路，每条链路运行在 112 Gbps，聚合双向 I/O 带宽达 2.5 TB/s。这些硬件支撑了 LPX 简洁高效的纵向扩展拓扑。

LPX 与 Vera Rubin NVL72 GPU 协同工作，形成双引擎异构推理架构，该架构可以支持高聚合代币产量和响应迅速的交互式 AI 体验。

Vera Rubin NVL72 GPU 负责处理长上下文预填充和解码注意力机制，提供高吞吐量和大容量内存支持；
Groq 3 LPU（Language Processing Unit）作为 LPX 的核心组件，专注于对延迟敏感的解码任务，例如前馈网络（FFN）和稀疏专家（MoE）执行，实现快速、可预测的令牌生成。

NVIDIA Groq 3 LPX 计算托盘内部

Groq 3 LPX 系统由 32 个液冷 1U 计算托盘组成，每个托盘集成 8 块第三代 Groq 3 LPU 加速器、一颗主机 CPU 和 Fabric 扩展逻辑，总计 256 块 LPU。LPU 是 Vera Rubin 平台的第七颗芯片，其卓越性能与 GPU 协同，使系统在执行复杂推理任务时兼具高效率和低延迟。

托盘内部的 LPU 芯片通过 C2C 链路实现托盘内直接通信，并可通过主干网跨托盘甚至跨机架通信。这种高效互连对于交互式推理至关重要：系统不仅需要原始计算能力，还必须在请求跨设备流动时快速协调、移动数据并保持延迟稳定。

每个 1U 托盘采用无电缆液冷设计，连接 LPU 模块、Fabric 扩展逻辑、DRAM、主机 CPU、BlueField-4 DPU以及背板和前面板接口。

NVIDIA Groq 3 LPU核心技术

NVIDIA Groq 3 LPU 是 LPX 系统的核心加速器，其架构在编译器控制下紧密耦合计算、内存和通信，实现快速且可预测的令牌生成。与传统仅追求峰值算术吞吐量的硬件不同，LPU 强调确定性执行、高片上内存带宽和显式数据移动，这些特性对于解码主导、延迟敏感的推理任务至关重要。

LPU 的计算和通信以 320 字节向量为基本工作单元，支持内存访问、算术运算和跨设备传输的重叠。专用执行模块负责不同操作类型：

矩阵执行模块 (MXM)：为张量运算提供稠密乘累加（multiply-accumulate）能力，保证可预测吞吐量；
向量执行模块 (VXM)：通过每通道 ALU 网格处理逐点算术、类型转换和激活函数；
交换执行模块 (SXM)：执行结构化数据移动，包括排列、旋转、分布和转置。

LPU 的核心 MEM 模块是一种扁平化、SRAM 优先的内存架构，提供 500 MB 高速片上 SRAM 作为推理主要工作存储。编译器和运行时将活跃工作集（权重、激活值和 KV 状态）显式置入片上内存并管理数据移动，从而实现低而稳定的延迟，并减少对动态缓存管理的依赖。对于大型模型，系统通过多 LPU 并行扩展有效工作集，同时提供 150 TB/s 的片上内存带宽和高速芯片间 (C2C) 链路。每个 LPU 通过 96 条 112 Gbps C2C 链路连接，实现高达 2.5 TB/s 的双向聚合 I/O 带宽，保证跨 LPU 的数据交换可预测且延迟可控。

Groq 3 LPU 基于 Groq 的空间执行模型，由编译器显式调度计算、数据传输和同步。硬件采用准同步芯片间协议消除时钟漂移，使数百块 LPU 协同工作如同单一系统。这种确定性执行模型带来精确的内存与计算协调、显式的指令时序控制，并显著降低不同工作负载下的抖动，使实时推理在小批量或长上下文场景下仍能保持首次令牌时间和每个令牌延迟的稳定。

NVIDIA Vera Rubin NVL72 与 Groq 3 LPX 组合的异构推理架构

在现代推理系统中，不同阶段对计算资源的需求差异显著：长上下文处理强调吞吐量，而逐 token 生成则对延迟极为敏感。Vera Rubin NVL72 与 Groq 3 LPX 的组合正是基于这一特点构建的异构推理架构——GPU 负责高吞吐任务，LPX 提供低延迟执行路径，从而在系统层面实现性能互补。

在推理流程中，预填充（Prefill）阶段主要处理大规模输入并构建 KV Cache，这一阶段依赖高算力与大容量内存，由 Rubin GPU 高效完成。而在解码阶段，推理表现为逐 token 的循环过程，不同子阶段瓶颈各异：

GPU 负责基于 KV Cache 的全上下文注意力计算；
LPX 加速对延迟敏感的 FFN / MoE 前馈计算及逐点操作。

这种分工形成了典型的“双引擎解码循环”，也称为注意力-FFN 解耦（AFD）。在每个 token 生成过程中，GPU 与 LPU 之间交换中间激活，使各自专注于最擅长的计算模式，从而同时提升吞吐与响应速度。

为了让这一异构架构在实际系统中高效运行，NVIDIA 提供了 Dynamo 作为调度与编排层。Dynamo 能够根据任务特征进行请求路由，在 Prefill 阶段将任务分配给 GPU，在 Decode 阶段协调 GPU 与 LPX 的 AFD 循环，并以低开销传输中间激活数据，从而在高并发和动态流量下保持稳定的尾延迟。

AFD 解码说明

在此基础上，LPX 还可以进一步加速推测性解码。在该模式下，LPU 作为草稿模型快速生成候选 token，GPU 负责验证并接受结果。由于 LPU 具备确定性执行和高带宽片上 SRAM，其草稿生成速度更快，而 GPU 则保持高效验证能力，从而在不影响准确性的前提下显著降低整体延迟。

随着 AI 应用向多步骤智能体演进，推理调用频率大幅提升，延迟在链路中不断累积。异构架构通过将高吞吐与低延迟能力解耦，使系统既能维持 AI 工厂级吞吐，又能提供稳定的交互体验。在这一设计下，Vera Rubin NVL72 与 Groq 3 LPX 共同扩展了性能的帕累托前沿，使高交互性与高效率能够同时实现，并支撑新一代智能体与复杂推理应用。

Dynamo 协调异构计算

Groq 3 LPX 对开发者的价值

在智能体与生成式 AI 场景中，开发者需要同时满足三项关键目标：低且可预测的响应延迟、强模型能力与长上下文支持，以及面向高并发的吞吐效率与成本控制。Groq 3 LPX 正是在这一背景下扩展了 AI 系统可高效覆盖的工作负载范围。

对于编码助手、实时语音、翻译及高频工具调用的智能体流程等对延迟敏感的场景，LPX 提供稳定且快速的 token 生成能力，显著提升交互体验；而对于批量推理或长上下文吞吐型任务，则仍可由 Rubin GPU 承担，以发挥其高并发和规模效率优势。

这种异构协同模式改变了传统以单一指标优化系统的方式，使开发者能够根据实际运行需求，在不同性能目标之间灵活取舍，从而实现更优的整体系统表现。

NVIDIA Vera Rubin NVL72 和 LPX 带来 10 倍的收入增长机会

结论

NVIDIA Groq 3 LPX 是面向智能体时代的低延迟推理加速器，通过与 Vera Rubin NVL72 GPU 协同构建异构推理架构，解决了传统单一平台在延迟与吞吐量之间的权衡问题。LPX 的确定性执行、超高片上带宽、紧密耦合通信及机架式扩展能力，使 AI 系统能够在大上下文、多智能体和交互式生成场景下保持高性能。

通过将高带宽 LPU 与大容量 GPU 结合，LPX 不仅提高了令牌生成速度（相较于前代系统提升约 35 倍），还为万亿参数模型的交互式工作负载提供了 10 倍的收益潜力。这使其成为构建智能体 AI、编码助手、多智能体协作系统以及下一代 AI 工厂的关键硬件基础，开启了高吞吐量与低延迟兼得的AI新时代。