1.6T 网络为何成为下一代 AI 集群核心

技术文章

随着大模型训练与推理规模持续扩大,800G网络已接近带宽瓶颈。本文从224G/lane SerDes、51.2T交换芯片、光互联技术到散热方案,系统解析1.6T网络如何成为支撑下一代AI集群扩展与高效运行的关键互联能力。

1.6T 网络为何成为下一代 AI 集群核心

参考阅读

引言

随着大模型训练与推理规模持续扩大,AI 数据中心正加速迈入 1.6T 网络时代。从 NVIDIA H100 到 B200、B300,GPU 算力和节点密度快速提升,推动 AI 集群中的东西向流量呈指数级增长。同时,All-Reduce 等集合通信对网络带宽、时延与拥塞控制提出了更高要求。在这一背景下,800G 网络已逐渐接近大型 AI 集群的带宽瓶颈,1.6T 网络凭借更高吞吐、更低延迟及更高组网密度,正成为支撑下一代 AI 集群扩展与高效运行的关键互联能力。

1.6T网络核心技术架构是什么

200G/lane SerDes的信号完整性设计

200G/lane SerDes 是 1.6T 网络实现超高速互联的核心基础,其本质是通过提升单通道速率来突破整体带宽瓶颈。相比 112G PAM4,224G PAM4 将单通道能力进一步提升,使 1.6T 交换机和光模块能够通过 8×200G 通道实现单端口 1.6Tbps 带宽。

这一演进也带来了更严苛的信号完整性挑战:

  • 更高波特率下,PCB 走线、连接器及过孔的插入损耗显著增加;
  • 高频信号更容易受到串扰、抖动及回波损耗影响;
  • AI 集群中的高密度布线进一步提升了链路设计复杂度。

因此,1.6T 网络需要结合 DSP 均衡、FEC 前向纠错等关键技术,对高速 PAM4 信号进行补偿与纠错,从而保障长距离、高带宽场景下的数据传输稳定性。

交换芯片:51.2T容量级交换引擎

1.6T 网络的落地不仅依赖于高速 SerDes,还依赖交换芯片总交换容量的大幅提升。目前,AI 数据中心交换芯片正从 25.6T 向 51.2T 演进,成为支撑超大规模 GPU 集群互联的核心交换引擎。

51.2T容量级交换引擎的关键意义主要体现在以下几个方面:

  • 更高交换容量:51.2T 容量的芯片可支持 32 个 1.6T 端口或 64 个 800G 端口,为 AI 集群提供更高带宽密度。
  • 更高组网密度:单芯片交换机即可连接更多 GPU 服务器,减少 Spine/Leaf 层级数量,从而降低网络复杂度与部署成本。
  • 更高 Radix(端口规模):更高端口数量意味着单台交换机能够连接更多下游节点,有助于降低端到端时延,提升 All-Reduce 等集合通信效率。
  • 交换容量持续演进:从 12.8T、25.6T 到 51.2T,交换芯片容量基本保持约两年翻倍的演进趋势。未来 102.4T 芯片将进一步推动 1.6T 网络在万卡级 AI 集群中的规模化部署。

1.6T网络如何改变组网密度

1.6T 网络的核心价值之一,在于显著提升 AI 数据中心的组网密度。当交换机端口速率从 800G 升级至 1.6T 后,单端口带宽实现翻倍,单台交换机可承载更多 GPU 节点互联。

其带来的组网变化主要包括:

  • 单层接入规模提升:在 32×1.6T 的交换机配置下,单个 Leaf/TOR 层能够接入更多 AI 服务器,相比 800G 网络显著提升节点承载能力。
  • 网络层级减少:更高带宽与更高 Radix 能够减少 Spine/Leaf 网络层数,降低跨层转发次数,从而优化整体网络架构。
  • 降低端到端时延:网络跳数减少后,GPU 之间的数据交换路径更短,有助于提升 All-Reduce 等集合通信效率。
  • 支撑超大规模 AI 集群:对于万卡甚至十万卡级 GPU 集群而言,1.6T 网络能够缓解东西向流量压力,提升整体扩展能力与训练效率。

1.6T网络中的光互联技术

1.6T光模块封装形态

1.6T网络速率下,光模块的封装形态主要有两种选择:OSFP和OSFP-XD,详细对比请参阅:OSFP vs. OSFP-XD: Choosing the Right 1.6T Transceiver Form Factor.

  • 1.6T OSFP:采用标准 OSFP 封装形态,通常基于 8×200G electrical lanes 设计,兼顾高带宽、高散热能力与现有 OSFP 生态兼容性,是当前 1.6T 光模块的重要演进方向。

  • 1.6T OSFP-XD:OSFP-XD(Extra Dense)在 OSFP 基础上进一步提升端口密度,可支持更高数量的高速通道,适用于超高密度 AI 数据中心和下一代 51.2T/102.4T 交换平台。

对比维度 1.6T OSFP 1.6T OSFP-XD
Host lanes 8 lanes 16 lanes
Bandwidth scalability 8-lane architecture Reserve space for higher polymerization rates
Form factor Standard OSFP Slightly larger than OSFP(higher pin density)
Slot compatibility OSFP slot Requires dedicated OSFP-XD slot
Thermal characteristics Mature thermal design Higher density, stricter system cooling requirements
Primary use cases Mainstream 400G/800G switching and interconnects High-end switches focused on port density and future scalability
Ecosystem maturity Mature, widely deployed Next-generation packaging is being gradually introduced

1.6T网络光互联的技术路径

  • 传统可插拔光模块:传统方案依赖 DSP 芯片完成 CDR、均衡及信号补偿,技术成熟且兼容性较好。但在 1.6T 速率下,模块功耗显著增加,单模块功耗可达 30W 以上,对 AI 数据中心散热与能耗带来较大压力。好的DSP芯片对1.6T光模块至关重要,根据台积电的技术数据,3nm工艺与5nm相比,可实现约10-15%的性能提升和25-30%的功耗降低,可以阅读:Why Choose 3nm DSP Chip for 1.6T Transceivers?

  • 硅光(Silicon Photonics):硅光技术通过将光器件与 CMOS 工艺结合,实现更高集成度、更低功耗及更高规模化生产能力。随着 1.6T 光模块功耗与带宽需求持续提升,硅光正在成为 AI 数据中心的重要发展方向,并应用于高速 DR/FR 光模块中。1.6T收发器中更多关于硅光技术的内容可以查看博客:Silicon Photonics vs. EML Technology: Optimizing 1.6T OSFP224 Transceivers.

  • LPO(Linear Pluggable Optics):LPO 通过移除 DSP,采用线性驱动架构直接驱动光器件,并将部分均衡功能交由交换芯片侧 SerDes 处理,可大幅降低模块功耗。相比传统方案,LPO 更适用于 AI 集群中的短距离高速互联场景。

  • CPO(Co-Packaged Optics):CPO 将光引擎与交换芯片集成到同一封装内,减少高速电信号传输距离,从而降低信号损耗与系统功耗。作为下一代光互联方向,CPO 有望进一步提升交换密度与能效表现。

光互联方案 核心特点 优势 挑战/限制 适用场景
传统可插拔光模块 内置 DSP,完成 CDR 与信号均衡 技术成熟、兼容性强、部署灵活 功耗较高,1.6T 模块功耗可达 30W+ 当前主流 AI 数据中心与通用高速互联
硅光 基于 CMOS 工艺集成光器件与光引擎 集成度高、功耗更低、易于规模化生产 封装与热管理复杂度较高 1.6T DR/FR 光模块与超大规模 AI 数据中心
LPO 去除 DSP,采用线性驱动架构 功耗显著降低,延迟更低 对链路损耗与信号质量要求更高 AI 集群短距离高速互联
CPO 光引擎与交换芯片共封装 超低功耗、更高交换密度、信号损耗更低 工艺复杂,维护与可插拔灵活性较低 下一代超大规模 AI 集群与 102.4T 平台

1.6T光模块散热方案

随着 1.6T 光模块功耗持续提升,散热设计已成为高速光互联的重要组成部分。目前主流散热方式主要包括 RHS(Riding Heat Sink)和 IHS(Integrated Heat Sink)两种方案。而关于其在 Broadcom Tomahawk6 液冷交换机中的应用,可进一步参考:1.6T OSFP RHS/Flat-Top Optical Transceiver: Designed for 102.4T Broadcom Tomahawk6 Liquid-Cooled Switches.

散热方案 核心特点 优势 适用场景
RHS(Riding Heat Sink) 散热器安装在交换机系统侧,与模块顶部接触散热 散热能力更强,适合高功耗 1.6T 模块,便于系统级风道优化 AI 数据中心、高密度交换平台
IHS(Integrated Heat Sink) 散热结构直接集成在光模块顶部 模块独立性较强,兼容性较好,部署更灵活 中低功耗高速模块及传统数据中心场景

相比 IHS,RHS 更适合 1.6T 等超高速、高功耗场景,能够提供更大的散热面积与更高散热效率,因此正逐渐成为 AI 数据中心 1.6T 光模块的重要散热方向。

超擎数智提供不同封装,不同散热的多种高质量1.6T光模块,想了解更多超擎数智1.6T模块的不同点——NADDOD 1.6T Optical Transceiver Differences Analysis.

1.6T网络相关布线方案

在 1.6T 网络架构中,高速线缆不仅影响链路带宽,也直接关系到 AI 集群的功耗、布线密度与传输稳定性。1.6T 网络布线有 DAC、AEC、AOC 以及 MMC 线缆等互联方案,以适配不同距离和场景需求。

线缆方案 核心特点 优势 适用场景
DAC(Direct Attach Cable) 无源铜缆直连方案 功耗低、成本低、时延小 机柜内超短距离互联
AEC(Active Electrical Cable) 在线缆中集成 Retimer/Redriver 芯片 信号完整性更好,支持更长传输距离 高速中短距 AI 互联
AOC(Active Optical Cable) 内置光电转换模块,通过光纤传输 带宽高、重量轻、抗电磁干扰能力强 跨机柜及长距离互联
MMC 线缆 基于高密度同轴连接器设计 支持高速 SerDes 传输,布线密度更高 GPU 服务器内部及板级互联

随着 1.6T 网络进入 200G/lane 时代,传统铜缆面临更严苛的信号完整性挑战,超擎数智 1.6T DAC线缆能提供高速的数据传输速度、高带宽和低延迟,为客户的高性能计算需求提供可靠高效的解决方案。

1.6T 网络相关测试有哪些

物理层收发器合规性验证

在 1.6T 网络中,224G/lane 高速信号对电气与光学测试提出了更严格要求。IEEE 802.3dj 等标准对抖动、误码率(BER)、信噪失真比(SNDR)及发射器色散等关键指标进行了规范,以确保高速链路的可靠性与互操作性。

  • 电气测试:重点关注信号完整性,包括抖动、线性度、码间干扰及均衡能力;接收器测试则通过 BERT 注入压力信号,验证链路在复杂环境下的误码表现,这对 LPO 等低功耗方案尤为关键。

  • 光学测试:TDECQ、OMA、消光比及 RIN 等指标成为衡量光模块性能的重要参数。由于 1.6T 光模块采用 224G PAM4 高速传输,因此需要更高带宽、低噪声的示波器与测试设备,以保证 AI 数据中心高速互联的稳定运行。

信号完整性检测与线缆测试

在 1.6T 网络环境下,线缆与互连组件同样面临严苛的信号完整性挑战。无论是光链路、ACC 还是 DAC 铜缆,在 224G/lane 速率下,插入损耗、回波损耗及串扰问题都会更加明显,微小的阻抗失配都可能影响链路稳定性。

  • 高速线缆测试需要结合 S 参数分析、COM(信道工作裕量)以及 TDR(时域反射)等技术,对信道损耗、反射与串扰进行精确评估。其中,S 参数主要用于频域分析,TDR 则用于定位 PCB、连接器及线缆中的阻抗不连续点。

  • 去嵌入(De-embedding)技术也是 1.6T 高速测试的重要环节,可有效去除测试夹具与适配器对测量结果的影响,从而更准确地反映被测链路的真实信号性能。

超越物理层测试

物理层合规只是 1.6T 收发器验证的基础。随着 224G/lane 与 1.6T 网络普及,真实 AI 场景中的拥塞、噪声及高负载问题,还需要通过 FEC 与网络压力测试进一步验证链路稳定性。

  • FEC(前向纠错)测试

在 1.6T 网络中,FEC 是保障超高速链路可靠传输的关键技术。除了关注预 FEC 误码率外,还需要分析后 FEC 错误分布、突发错误及帧丢失率(FLR),以验证链路在高负载和复杂噪声环境下的稳定性,确保 AI 集群接近零丢包运行。

  • 网络性能测试

1.6T 收发器测试不仅局限于物理层,还需要覆盖二层、三层网络性能验证。通过全线速以太网/IP流量模拟,可检测路由、拥塞、流量控制、时延及链路稳定性等问题,从而确保收发器能够满足 AI 训练中大规模并行数据传输需求。

AI 训练中大规模并行数据传输需求。与此同时,越来越多企业开始意识到,仅通过基础兼容性或实验室测试,并不意味着 AI 网络已经具备真实生产环境部署能力。在文章Why Passing Tests Doesn't Mean AI Infrastructure Is Production-Ready中也提到,AI 基础设施在正式上线前,还需要经过更完整的系统级网络验证与长期稳定性测试。

1.6T网络的市场趋势与挑战

1.6T网络市场趋势

随着生成式 AI、LLM 训练以及 AI 推理需求快速增长,AI 数据中心正在从传统云计算架构向超大规模 GPU 集群架构演进。在这一过程中,网络不再只是连接资源的基础设施,而是直接影响模型训练效率、GPU 利用率以及整体集群扩展能力的关键系统。

GPU 算力提升是推动 1.6T 网络发展的核心动力。从 NVIDIA H100 到 B200、B300,单节点 GPU 的计算能力与内部互联带宽持续提升,大规模 All-Reduce 集合通信也让东西向流量呈指数级增长。传统 400G 与 800G 网络逐渐接近带宽瓶颈,1.6T 网络开始成为下一代 AI Fabric 的重要演进方向。

224G/lane SerDes 的成熟,则是 1.6T 商用化的重要基础。相比上一代 112G PAM4,224G PAM4 能够在更少通道数量下实现更高带宽密度,同时推动 1.6T 光模块、51.2T 交换芯片以及高速互连生态逐渐成熟。目前,云服务商与 AI 基础设施厂商已经开始围绕 51.2T 和未来 102.4T 交换平台布局下一代 AI 网络架构

1.6T网络面临的挑战

在 1.6T 网络时代,最大的挑战已经不仅是带宽本身,而是功耗与散热问题。随着交换芯片、SerDes 与光模块速率持续提升,单设备功耗快速增长,高密度 AI 集群正在对数据中心供电与制冷系统带来巨大压力。

功耗:光模块功耗成为最突出的挑战之一。传统 DSP 架构的 1.6T 光模块单个功耗可达到 30W 甚至更高,在 32×1.6T 交换机中,仅光模块功耗就可能接近 1kW。这也是为什么行业开始加速推进 LPO与 CPO技术,通过减少甚至移除 DSP 来降低整体系统功耗。

液冷:OSFP-XD 等新型封装形态同样受到关注。相比传统封装,OSFP-XD 能够提供更高的散热能力与端口密度,以适应 1.6T 模块更高的热设计功耗(TDP)需求。与此同时,交换机整机功耗不断逼近甚至超过 2kW,也让传统风冷方案逐渐接近极限。

液冷因此正在成为 AI 数据中心的重要发展方向。无论是冷板式液冷还是浸没式液冷,都能够显著提升散热效率并优化 PUE(Power Usage Effectiveness)。虽然液冷方案会带来管路设计、漏液检测以及运维复杂度提升等新挑战,但对于未来高密度 AI 集群而言,液冷已经逐渐从"可选项"变为"必选项"。

1.6T网络的未来趋势

1.6T 网络并不是高速 AI 互联演进的终点,而更像是下一代 AI Fabric 架构的过渡阶段。随着万卡级、十万卡级 GPU 集群不断出现,AI 数据中心未来仍将持续向更高带宽、更低时延以及更高能效方向发展。

  • 3.2T Networking:已经开始进入产业规划阶段。未来 102.4T 交换芯片将进一步提升单机交换容量,并推动网络向更高端口密度与更大规模扩展。与此同时,448G/lane SerDes 也正在成为下一代高速互联的重要研究方向。

  • CPO:未来超高速网络的重要技术路径之一。通过将光引擎与交换芯片直接集成到同一封装内,CPO 可以显著降低高速电信号传输损耗,同时进一步降低系统功耗并提升交换密度。这对于未来 3.2T 甚至更高速率网络尤为关键。

  • 此外,AI Fabric 的演进也不仅仅局限于带宽升级。未来网络将更加重视低时延传输、拥塞控制以及大规模集合通信优化,以提升 GPU 集群整体训练效率。

可以预见,未来 AI 数据中心的竞争,将不仅是 GPU 算力的竞争,更是网络、光互联、封装与散热系统协同能力的竞争。更详细的1.6T光模块市场趋势,可以参阅博客:1.6T Transceiver Market Insights:Future of AI and HPC Networking.

结论

随着 AI 大模型训练与推理规模持续扩张,1.6T 网络正加速成为下一代 AI 数据中心的核心基础设施。从 224G/lane SerDes、51.2T/102.4T 交换芯片,到硅光、LPO、CPO 及液冷技术,高速互联生态正在向更高带宽、更低时延和更高能效持续演进。未来,1.6T 网络不仅将支撑万卡级、十万卡级 AI 集群建设,也将为 3.2T Networking 和下一代 AI Fabric 奠定基础。

与此同时,随着 AI 基础设施投资持续升温,光模块、线缆及高速互联产品需求快速增长,行业正面临产能紧张、交付周期延长等挑战。在此背景下,供应能力与交付能力正成为客户选择合作伙伴的重要考量因素。作为高速 AI 网络解决方案提供商,超擎数智不仅提供覆盖 光模块、线缆及高速互联产品的完整解决方案,更依托充足备货、稳定供应链和快速交付能力,能够满足客户大规模 AI 集群建设需求。凭借丰富的 AI 数据中心项目经验与成熟的部署实践,超擎数智可帮助客户缩短交付周期,加速构建高性能、高可靠性的下一代 AI 网络基础设施。