本文从架构定位、计算方式和典型应用出发，对比 CPU、GPU、TPU 与 NPU 的核心差异，帮助理解不同 AI 芯片在训练、推理、边缘计算和通用计算中的适用边界。

CPU、GPU、TPU 和 NPU 有什么区别？

参考阅读：

AI 处理器全景指南（CPU、GPU、TPU、APU、NPU、IPU、RPU...）

CPU、GPU、TPU、NPU 到底有什么区别？看完这篇就懂了！

CPU、GPU、NPU 和 TPU：深入探索 AI 芯片（本文主要改写自该篇）

引言

AI 的发展不仅依赖先进的软件，更对硬件提出了前所未有的要求。传统通用计算芯片无法满足现代 AI 对数十亿次计算的需求，因此专用加速器成为关键支撑。当前，CPU（中央处理器）、GPU（图形处理器）、NPU（神经网络处理器）和 TPU（张量处理器）是主要的 AI 芯片类型，各自针对不同计算任务进行优化，从大型模型训练到移动设备的实时推理。本指南将系统分析这些芯片的架构特点、设计差异及适用场景，帮助理解现代 AI 硬件生态及其性能优化策略。

为什么 AI 需要不同的芯片

AI 计算模式与传统软件截然不同。训练阶段需要极高的持续算力，耗电巨大且依赖数千芯片协作；推理阶段则要求低延迟、高能效、每秒处理海量请求。这种高度规律、可预测的矩阵计算和数据复用特性，使得专用 AI 芯片比通用 CPU 更高效。

AI 计算高度依赖矩阵乘法：单层神经网络可能需要对 10,000×10,000 的矩阵执行上万亿次乘加运算，而整个模型推理中会执行数十亿次类似操作。这类计算规则、可预测，便于芯片设计：AI 加速器可以去掉复杂控制逻辑，集中大量简单计算单元。

数据复用进一步提升效率：相同的模型权重或图像模式会被多次使用，硬件可将这些数据保存在处理器附近，减少慢速内存访问。相比传统 CPU 花大量芯片面积在分支预测和乱序执行上，AI 芯片将 70%–80% 的面积用于实际计算，以牺牲灵活性换取高吞吐量。

CPU（Central Processing Unit）

CPU 的设计目标是通用性与灵活性。几乎所有计算设备——从个人电脑到服务器——都依赖 CPU 来运行各种软件，包括文字处理程序、数据库系统以及视频游戏等不同类型的应用。这种广泛的适用性来自其复杂而精密的架构，使 CPU 在通用计算场景中始终保持强大的处理能力。

在现代服务器中，CPU 通常包含 8 到 128 个核心。每个核心都集成了大量高级机制，例如：

乱序执行（Out-of-Order Execution）：根据效率重新安排指令执行顺序，而不是严格按照程序原始顺序执行。
分支预测（Branch Prediction）：对程序中的条件分支进行预测，以减少等待时间。
大容量缓存（Cache）：将常用数据存储在更接近核心的位置，从而降低访问延迟。

这些复杂的设计让每个 CPU 核心在芯片面积和功耗方面成本较高。但与此同时，它也赋予 CPU 在处理顺序逻辑、条件判断以及难以并行化的任务时的明显优势。对于许多不可预测或依赖复杂控制逻辑的计算工作负载，CPU 依然是最合适的处理器。

在典型的 AI 计算架构中，CPU 主要承担以下任务：

运行操作系统并管理系统资源
负责数据加载与预处理
在不同加速器之间调度计算任务
执行不属于 AI 推理或训练的通用计算任务

从系统层面来看，CPU 更像是整个 AI 计算平台的“指挥者”：虽然大量计算工作由 GPU 或其他加速器完成，但 CPU 负责协调整个流程，使系统能够高效运行。对于规模较小的模型（例如参数量只有几百万的模型），CPU 依然能够胜任轻量级推理任务。此外，一些传统机器学习算法，例如决策树、线性回归和随机森林，也通常在 CPU 上运行良好。

CPU的限制

尽管 CPU 在系统控制和通用计算方面不可替代，但在深度学习计算中，其性能往往难以满足需求。主要原因在于并行计算能力不足以及单次计算成本较高。

从并行度来看，现代 CPU 通常只能同时执行数百级别的并行操作，而 GPU 可以轻松实现数百万级别的并行计算。因此，在 CPU 上训练深度神经网络往往需要数周甚至数月，而使用 GPU 则可能只需几小时到几天。在许多实际场景中，这种性能差距可达到 10 到 100 倍。

此外，CPU 在每 FLOP（浮点运算）计算成本方面明显高于专用 AI 加速器。同时，其内存带宽也难以满足大型深度学习模型的需求。

GPU（Graphics Processing Unit）

GPU 已成为 AI 训练和大规模计算的核心硬件。虽然最初为图形渲染设计，但其高度并行的架构与深度学习中的矩阵计算高度契合，因此被广泛应用于 AI 研究和生产系统。

与 CPU 由少量复杂核心构成不同，GPU 采用大规模并行设计，由数千个相对简单的计算核心组成。这些核心通常以流式多处理器（SM, Streaming Multiprocessor）为单位组织，每个 SM 包含多个计算核心和共享资源。现代高端 GPU 通常拥有上百个 SM，总核心数量可达到一万至一万八千个，从而能够同时执行大量相同类型的计算任务。

GPU 的内存子系统同样针对高吞吐量进行了优化。

消费级 GPU 通常配备 GDDR6 或 GDDR6X 显存，带宽约为 600–1000 GB/s；
数据中心 GPU 则采用高带宽内存（HBM），带宽可达 2–3 TB/s，显著高于典型 CPU 平台，从而满足大规模矩阵运算的数据吞吐需求。

现代 GPU 还集成了专用于 AI 计算的张量核心（Tensor Cores）。这些专用单元针对混合精度矩阵乘加运算进行了优化，可在单个周期内执行小规模矩阵乘加操作，并支持 FP16、BF16、INT8 和 INT4 等低精度格式，在深度学习训练和推理任务中可提供数倍于传统计算核心的性能提升。

GPU的优势

GPU 成为 AI 计算的主流选择，主要得益于其在训练、推理和开发生态方面的综合优势。

在训练阶段，GPU 具备较高的灵活性。研究人员可以借助成熟的工具链快速实验新的模型架构、调整超参数并进行调试。同时，多 GPU 系统具有良好的扩展能力，可从单机的数块 GPU 扩展到由数千甚至上万块 GPU 组成的大规模集群，以支持前沿模型的训练需求。
在推理阶段，GPU 同样具有较强的通用性，能够支持从实时视频处理到部署数百亿参数大型语言模型等多种应用场景。对于高吞吐量服务，GPU 还可以通过请求批处理（batching）有效提升整体计算效率。

此外，成熟的软件生态也是 GPU 的重要优势。长期积累的开发工具、深度学习框架和优化库形成了强大的生态体系，使 GPU 成为当前大多数 AI 框架和应用的默认计算平台。

TPU（Tensor Processing Unit）

TPU（Tensor Processing Unit）代表了一种高度专用化的 AI 计算架构。这一处理器由 Google 专门为 AI 工作负载设计，并主要通过 Google Cloud 向外部用户提供服务。与通用处理器不同，TPU 在设计时更强调规模化效率，因此在一定程度上牺牲了通用计算能力与灵活性。

TPU 采用了一种与传统 CPU 或 GPU 不同的计算架构——脉动阵列（Systolic Array）。在这种设计中，大量计算单元被组织成网格结构，数据会在这些处理单元之间持续流动。可以将其理解为一种流水式计算模式：数据依次经过不同处理节点，每个节点执行一次运算后再将结果传递给相邻单元。

这种数据流式的计算方式显著减少了频繁访问外部内存的需求。由于数据能够在阵列内部不断复用，系统可以避免传统计算架构中大量耗能的数据搬运，从而显著提升整体效率。该架构特别适合执行矩阵乘法运算，而矩阵计算正是深度学习模型中的核心计算形式。因此，在大规模神经网络训练与推理任务中，TPU 能够实现非常高的计算效率。

TPU 的设计理念非常明确：专注于 AI 张量计算。与 GPU 不同，TPU 不具备图形渲染能力，也不承担通用计算任务。其硬件从底层开始就针对 Google 在搜索、推荐和语言模型等场景中的 AI 工作负载进行了优化。

TPU 的优势还来自于软硬件协同设计。在 TPU 体系中，硬件架构、编译器以及深度学习框架是联合开发的。例如，JAX 和 TensorFlow 都针对 TPU 做了深度优化。这种紧密集成使系统能够实现许多通用加速器难以达到的优化效果。

早期 TPU 的设计重点主要集中在提升 AI 训练效率，而在最近几代产品中，架构层面开始系统性地强化对推理工作负载的支持。这一演进方向反映了 AI 计算需求的变化——随着模型规模不断扩大以及实际应用场景的增长，推理阶段的性能与能效逐渐成为基础设施优化的重要关注点。关于TPU 架构的演进、TPU v7（Ironwood）的性能表现以及与 NVIDIA GPU 的对比差异分析，读者可以进一步参考我们此前的相关分析文章。

TPU的优势与局限

在特定 AI 工作负载场景中，TPU 具备明显优势，但其应用范围也存在一定限制。

优势：

在 Google Cloud 上进行大规模模型训练时，成本效率较高，通常低于同等规模的 GPU 计算资源
在 Transformer 模型的数据并行训练方面具有优秀的扩展能力
非常适合大规模语言模型训练以及 Google 内部 AI 服务
按使用付费的云模式，无需进行硬件采购投资
用户无需复杂部署即可使用最新 AI 计算硬件

局限性：

仅能通过 Google Cloud 使用，无法进行本地部署，存在一定厂商锁定风险
对未针对 TPU 优化的模型结构或自定义算子支持有限
生态系统规模小于 NVIDIA，第三方工具相对较少
部分模型架构在 TPU 上运行效率较低，甚至无法运行
调试与性能分析工具的成熟度仍不及 CUDA 生态

总体而言，TPU 是一种为特定 AI 工作负载深度优化的专用计算平台。在大规模模型训练和云端 AI 服务中，它能够提供非常高的效率，但其使用范围也受到平台生态和架构灵活性的限制。

NPU（Neural Processing Unit）

神经网络处理器（NPU）旨在在严格的功耗预算下高效执行 AI 推理任务。与以计算性能为主要目标的数据中心加速器不同，NPU 的设计重点是能效和实时响应，使 AI 能够在智能手机、可穿戴设备和物联网终端等数十亿设备上持续运行。

NPU的设计特点

NPU 的架构围绕低功耗和高效率进行优化。移动设备中的 NPU 通常需要在约 1–15 瓦的功耗范围内运行，并与 CPU、GPU 等组件共享系统功耗预算，因此在设计上进行了大量针对性的简化。大多数 NPU 仅针对推理任务优化，不包含训练相关功能，从而减少硬件复杂度和能耗。

为了进一步提升效率，NPU 普遍采用低精度计算，如 INT8、INT4 甚至更低位宽，同时结合时钟门控和动态电压调节等技术，在负载较低时关闭未使用模块并降低功耗。此外，NPU通常集成在系统级芯片（SoC）中，与 CPU、GPU 及其他组件共享片上互连和内存，从而减少数据在芯片外传输带来的延迟与能耗，并可直接访问摄像头、麦克风等外设。

NPU的优势

能效高：每瓦可实现 50–200 TOPS，相比 GPU 高 10–50 倍，适合“始终在线”的端侧 AI 功能。
低延迟：端侧处理响应时间仅为个位数毫秒，无需依赖云计算。
隐私保护：数据在本地处理，减少网络传输和泄露风险。
多样化应用：支持面部识别、计算摄影、语音助手、实时翻译，以及自动驾驶中的传感器融合与物体检测。

NPU的局限性

原始性能有限：相比数据中心 GPU，NPU 的计算能力较低，不适合大规模模型训练。
应用受限：主要面向推理任务，无法执行完整训练工作负载。
架构专用：高度优化的硬件可能限制灵活性和跨平台兼容性。

通过将 AI 功能嵌入端侧设备，NPU 在保持低功耗和高响应性的同时，实现了用户可感知的实时 AI 服务，成为移动和边缘计算场景不可或缺的核心组件。

CPU、GPU、NPU、TPU架构对比

在全面了解了 CPU、GPU、TPU 和 NPU 的设计理念后，对比它们的架构差异可以解释为什么它们在不同类型的计算任务中表现不同。

内存系统

内存容量和带宽是限制计算能力的重要因素。不同类型的处理器在这两个方面存在明显差异。

	容量	带宽
CPU	128GB – 2TB 系统内存	100 – 400 GB/s（DDR5）
GPU	16GB – 192GB HBM/GDDR 显存	2 – 3 TB/s（HBM3）
TPU	每片芯片32GB到128GB的HBM内存	每片芯片1 – 2 TB/s
NPU	4GB – 16GB，与 SoC 共享	50 – 200 GB/s（共享总线）

这些差异解释了为什么并非所有模型都可以在任何“内存足够”的芯片上运行。例如，一个拥有 700 亿参数的模型，仅权重就需要超过 140GB 的存储空间。如果再考虑运行过程中的临时数据和工作内存，整体需求通常会达到 160GB 至 180GB。这意味着大多数 GPU 无法单卡运行此类模型，通常需要高端数据中心 GPU、多 GPU 组合，或者依赖 TPU Pod 等更大规模的计算架构。

互连技术

当计算需求超出单个芯片能力时，高速互连技术就成为关键。不同平台所采用的互连方案，在带宽、延迟和拓扑结构方面存在显著差异。

PCIe（Peripheral Component Interconnect Express）：通用标准，PCIe 5.0 x16 提供 64 GB/s 带宽，适合所有组件，但延迟高于专用互连。
NVIDIA NVLink：提供 GPU 之间的直接高速连接，带宽通常在 600–900 GB/s 之间，比 PCIe 高 10–15 倍，NVSwitch 支持 8 个以上 GPU 全互联，实现多 GPU 高效训练。
谷歌 ICI（Inter-Chip Interconnect）：TPU Pod 的定制化互连，优化谷歌特定工作负载，实现大规模线性扩展。
AMD Infinity Fabric：用于 MI300 系列芯片互连，带宽低于 NVLink，但正逐步缩小差距。

精度支持

不同类型的处理器在数值精度支持方面各有侧重，而精度格式会直接影响计算效率、功耗以及模型训练与推理的性能表现。

芯片类型	主要支持精度	架构侧重点
CPU	FP64、FP32，部分支持 FP16、BF16、INT8	强调高精度计算能力。新一代处理器通过 Intel AMX 等指令扩展增加 AI 计算能力，但整体仍以通用计算为核心。
GPU	FP64、FP32、FP16、BF16、INT8、INT4、FP8	提供最全面的精度支持。FP32 由 CUDA 核心处理，FP16/BF16 与 INT8/INT4 主要通过 NVIDIA Tensor Core 加速，在 AI 训练与推理中具有较高效率。
TPU	FP32、BF16、INT8、INT4	架构针对低精度 AI 计算优化。BF16 通常作为训练的主要精度格式，而 INT8 与 INT4 常用于推理和量化计算。
NPU	FP16、INT8、INT4、INT2、Binary	主要针对高能效推理设计。FP32 很少使用，INT8 是主要工作模式，同时支持更低精度（如 INT4、INT2 或 1-bit 网络）以提升推理效率。

总体来看，CPU 更强调高精度计算能力，GPU 提供最全面的精度支持，而 TPU 和 NPU 则更倾向于针对低精度 AI 计算进行优化。

可扩展性方案

当单个处理器的计算能力无法满足需求时，各类芯片通常采用不同的扩展方式来提升整体算力。

CPU：主要通过增加核心数量或处理器插槽实现。单个插槽最多可支持约 128 个核心，而一台服务器通常可以配置 2 到 8 个 CPU 插槽。如果需要更大规模的计算能力，则需要构建由网络互连的服务器集群。不过，由于内存一致性协议的限制，CPU 的横向扩展能力相对有限。
GPU：在节点内部可以通过 NVLink 扩展到 8 个 GPU 左右，然后再通过 InfiniBand 或高速以太网连接多个节点，形成大规模集群。在实际 AI 训练环境中，拥有数百到数万 GPU 的系统并不罕见。不过，要保证所有 GPU 都能高效利用，往往需要精细的并行策略与系统优化。
TPU：采用 Pod 架构。通过定制互连网络，可以将 256 到 9216 个 TPU 芯片连接成一个统一系统。对于专门针对 TPU 架构进行优化的模型而言，数据并行训练通常可以接近线性扩展。
NPU：大多数 NPU 主要用于移动设备或边缘计算，因此通常不会通过集群方式扩展。其“扩展”更多体现在大量设备中部署独立 NPU，而不是在单个系统内构建大规模加速集群。

结论

AI 硬件不存在最佳选择，每种芯片都在性能、能效和灵活性之间进行权衡。CPU 提供通用性，GPU 在研究与生产中实现平衡，TPU 在大规模训练中效率卓越但受限于生态，NPU 则以能效为优先。硬件决策应基于工作负载特性、延迟要求、功耗和规模，而非单纯基准测试。现代系统趋向异构架构，通过多种处理器类型协同优化不同任务，同时软件生态、开发工具和社区支持也显著影响实际性能。理解 CPU、GPU、NPU 与 TPU 的差异及适用场景，是合理选择 AI 硬件的关键。