NVIDIA 架构总监 Ajay Tirumala 和 Raymond Wong 现场首次展示了该平台，并解释了这些技术是如何协同配合，在提高能效的同时为 AI 和加速计算的性能确立新的标准。

多节点 NVIDIA GB200 NVL72 解决方案正是一个恰如其分的例子。LLM 推理需要低延迟、高吞吐量的 token 生成。GB200 NVL72 作为一个统一的系统，为 LLM 工作负载提供最多至 30 倍的推理速度提升，使得实时运行万亿参数模型成为可能。

Tirumala 和 Wong 还探讨了 NVIDIA Quasar 量化系统如何在低精度模型上实现高准确度，并重点介绍了使用 LLM 和视觉生成式 AI 的例子。NVIDIA Quasar 量化系统结合了算法创新、NVIDIA 软件库和工具以及 Blackwell 的第二代 Transformer 引擎。

通过风冷和液冷结合的混合冷却，研究人员开发出了更高效和可持续的解决方案，有望让传统风冷数据中心的嗡嗡作响成为历史。

与风冷技术相比，液冷技术能够更高效地为系统散热，从而使计算系统即使在处理大型工作负载时也更容易保持低温状态。液冷设备也比风冷系统占用更少的空间，耗电量更低，从而使数据中心可以在其设施中添加更多服务器机架，以增加更多算力。

NVIDIA 数据中心冷却和基础设施总监 Ali Heydari 介绍了几种混合冷却数据中心的设计方案。

有些设计方案利用液冷单元改造现有的风冷数据中心，为现有机架增加液冷功能提供了一种快速、便捷的解决方案。其它设计方案则需要使用冷却液分配单元，安装管道以直接对芯片进行液体冷却，或者将服务器完全浸入到冷却水箱中。尽管这些设计需要较大的前期投资，但却能够大幅降低能耗和运营成本。

Heydari 还介绍了其团队在 COOLERCHIPS 项目中的工作，这个项目旨在开发先进的数据中心冷却技术。作为该项目的一部分，Heydari 的团队正在使用 NVIDIA Omniverse 平台来创建基于物理的数字孪生，这将帮助他们对能耗和冷却效率进行建模，以优化数据中心设计。