1.6T 网络为何成为下一代 AI 集群核心
随着大模型训练与推理规模持续扩大,800G网络已接近带宽瓶颈。本文从224G/lane SerDes、51.2T交换芯片、光互联技术到散热方案,系统解析1.6T网络如何成为支撑下一代AI集群扩展与高效运行的关键互联能力。
1.6T 网络为何成为下一代 AI 集群核心
参考阅读:
引言
随着大模型训练与推理规模持续扩大,AI 数据中心正加速迈入 1.6T 网络时代。从 NVIDIA H100 到 B200、B300,GPU 算力和节点密度快速提升,推动 AI 集群中的东西向流量呈指数级增长。同时,All-Reduce 等集合通信对网络带宽、时延与拥塞控制提出了更高要求。在这一背景下,800G 网络已逐渐接近大型 AI 集群的带宽瓶颈,1.6T 网络凭借更高吞吐、更低延迟及更高组网密度,正成为支撑下一代 AI 集群扩展与高效运行的关键互联能力。
1.6T网络核心技术架构是什么
200G/lane SerDes的信号完整性设计
200G/lane SerDes 是 1.6T 网络实现超高速互联的核心基础,其本质是通过提升单通道速率来突破整体带宽瓶颈。相比 112G PAM4,224G PAM4 将单通道能力进一步提升,使 1.6T 交换机和光模块能够通过 8×200G 通道实现单端口 1.6Tbps 带宽。
这一演进也带来了更严苛的信号完整性挑战:
- 更高波特率下,PCB 走线、连接器及过孔的插入损耗显著增加;
- 高频信号更容易受到串扰、抖动及回波损耗影响;
- AI 集群中的高密度布线进一步提升了链路设计复杂度。
因此,1.6T 网络需要结合 DSP 均衡、FEC 前向纠错等关键技术,对高速 PAM4 信号进行补偿与纠错,从而保障长距离、高带宽场景下的数据传输稳定性。
交换芯片:51.2T容量级交换引擎
1.6T 网络的落地不仅依赖于高速 SerDes,还依赖交换芯片总交换容量的大幅提升。目前,AI 数据中心交换芯片正从 25.6T 向 51.2T 演进,成为支撑超大规模 GPU 集群互联的核心交换引擎。
51.2T容量级交换引擎的关键意义主要体现在以下几个方面:
- 更高交换容量:51.2T 容量的芯片可支持 32 个 1.6T 端口或 64 个 800G 端口,为 AI 集群提供更高带宽密度。
- 更高组网密度:单芯片交换机即可连接更多 GPU 服务器,减少 Spine/Leaf 层级数量,从而降低网络复杂度与部署成本。
- 更高 Radix(端口规模):更高端口数量意味着单台交换机能够连接更多下游节点,有助于降低端到端时延,提升 All-Reduce 等集合通信效率。
- 交换容量持续演进:从 12.8T、25.6T 到 51.2T,交换芯片容量基本保持约两年翻倍的演进趋势。未来 102.4T 芯片将进一步推动 1.6T 网络在万卡级 AI 集群中的规模化部署。
1.6T网络如何改变组网密度
1.6T 网络的核心价值之一,在于显著提升 AI 数据中心的组网密度。当交换机端口速率从 800G 升级至 1.6T 后,单端口带宽实现翻倍,单台交换机可承载更多 GPU 节点互联。
其带来的组网变化主要包括:
- 单层接入规模提升:在 32×1.6T 的交换机配置下,单个 Leaf/TOR 层能够接入更多 AI 服务器,相比 800G 网络显著提升节点承载能力。
- 网络层级减少:更高带宽与更高 Radix 能够减少 Spine/Leaf 网络层数,降低跨层转发次数,从而优化整体网络架构。
- 降低端到端时延:网络跳数减少后,GPU 之间的数据交换路径更短,有助于提升 All-Reduce 等集合通信效率。
- 支撑超大规模 AI 集群:对于万卡甚至十万卡级 GPU 集群而言,1.6T 网络能够缓解东西向流量压力,提升整体扩展能力与训练效率。
1.6T网络中的光互联技术
1.6T光模块封装形态
1.6T网络速率下,光模块的封装形态主要有两种选择:OSFP和OSFP-XD,详细对比请参阅:OSFP vs. OSFP-XD: Choosing the Right 1.6T Transceiver Form Factor.
-
1.6T OSFP:采用标准 OSFP 封装形态,通常基于 8×200G electrical lanes 设计,兼顾高带宽、高散热能力与现有 OSFP 生态兼容性,是当前 1.6T 光模块的重要演进方向。
-
1.6T OSFP-XD:OSFP-XD(Extra Dense)在 OSFP 基础上进一步提升端口密度,可支持更高数量的高速通道,适用于超高密度 AI 数据中心和下一代 51.2T/102.4T 交换平台。
| 对比维度 | 1.6T OSFP | 1.6T OSFP-XD |
|---|---|---|
| Host lanes | 8 lanes | 16 lanes |
| Bandwidth scalability | 8-lane architecture | Reserve space for higher polymerization rates |
| Form factor | Standard OSFP | Slightly larger than OSFP(higher pin density) |
| Slot compatibility | OSFP slot | Requires dedicated OSFP-XD slot |
| Thermal characteristics | Mature thermal design | Higher density, stricter system cooling requirements |
| Primary use cases | Mainstream 400G/800G switching and interconnects | High-end switches focused on port density and future scalability |
| Ecosystem maturity | Mature, widely deployed | Next-generation packaging is being gradually introduced |
1.6T网络光互联的技术路径
-
传统可插拔光模块:传统方案依赖 DSP 芯片完成 CDR、均衡及信号补偿,技术成熟且兼容性较好。但在 1.6T 速率下,模块功耗显著增加,单模块功耗可达 30W 以上,对 AI 数据中心散热与能耗带来较大压力。好的DSP芯片对1.6T光模块至关重要,根据台积电的技术数据,3nm工艺与5nm相比,可实现约10-15%的性能提升和25-30%的功耗降低,可以阅读:Why Choose 3nm DSP Chip for 1.6T Transceivers?
-
硅光(Silicon Photonics):硅光技术通过将光器件与 CMOS 工艺结合,实现更高集成度、更低功耗及更高规模化生产能力。随着 1.6T 光模块功耗与带宽需求持续提升,硅光正在成为 AI 数据中心的重要发展方向,并应用于高速 DR/FR 光模块中。1.6T收发器中更多关于硅光技术的内容可以查看博客:Silicon Photonics vs. EML Technology: Optimizing 1.6T OSFP224 Transceivers.
-
LPO(Linear Pluggable Optics):LPO 通过移除 DSP,采用线性驱动架构直接驱动光器件,并将部分均衡功能交由交换芯片侧 SerDes 处理,可大幅降低模块功耗。相比传统方案,LPO 更适用于 AI 集群中的短距离高速互联场景。
-
CPO(Co-Packaged Optics):CPO 将光引擎与交换芯片集成到同一封装内,减少高速电信号传输距离,从而降低信号损耗与系统功耗。作为下一代光互联方向,CPO 有望进一步提升交换密度与能效表现。
| 光互联方案 | 核心特点 | 优势 | 挑战/限制 | 适用场景 |
|---|---|---|---|---|
| 传统可插拔光模块 | 内置 DSP,完成 CDR 与信号均衡 | 技术成熟、兼容性强、部署灵活 | 功耗较高,1.6T 模块功耗可达 30W+ | 当前主流 AI 数据中心与通用高速互联 |
| 硅光 | 基于 CMOS 工艺集成光器件与光引擎 | 集成度高、功耗更低、易于规模化生产 | 封装与热管理复杂度较高 | 1.6T DR/FR 光模块与超大规模 AI 数据中心 |
| LPO | 去除 DSP,采用线性驱动架构 | 功耗显著降低,延迟更低 | 对链路损耗与信号质量要求更高 | AI 集群短距离高速互联 |
| CPO | 光引擎与交换芯片共封装 | 超低功耗、更高交换密度、信号损耗更低 | 工艺复杂,维护与可插拔灵活性较低 | 下一代超大规模 AI 集群与 102.4T 平台 |
1.6T光模块散热方案
随着 1.6T 光模块功耗持续提升,散热设计已成为高速光互联的重要组成部分。目前主流散热方式主要包括 RHS(Riding Heat Sink)和 IHS(Integrated Heat Sink)两种方案。而关于其在 Broadcom Tomahawk6 液冷交换机中的应用,可进一步参考:1.6T OSFP RHS/Flat-Top Optical Transceiver: Designed for 102.4T Broadcom Tomahawk6 Liquid-Cooled Switches.
| 散热方案 | 核心特点 | 优势 | 适用场景 |
|---|---|---|---|
| RHS(Riding Heat Sink) | 散热器安装在交换机系统侧,与模块顶部接触散热 | 散热能力更强,适合高功耗 1.6T 模块,便于系统级风道优化 | AI 数据中心、高密度交换平台 |
| IHS(Integrated Heat Sink) | 散热结构直接集成在光模块顶部 | 模块独立性较强,兼容性较好,部署更灵活 | 中低功耗高速模块及传统数据中心场景 |
相比 IHS,RHS 更适合 1.6T 等超高速、高功耗场景,能够提供更大的散热面积与更高散热效率,因此正逐渐成为 AI 数据中心 1.6T 光模块的重要散热方向。
超擎数智提供不同封装,不同散热的多种高质量1.6T光模块,想了解更多超擎数智1.6T模块的不同点——NADDOD 1.6T Optical Transceiver Differences Analysis.
1.6T网络相关布线方案
在 1.6T 网络架构中,高速线缆不仅影响链路带宽,也直接关系到 AI 集群的功耗、布线密度与传输稳定性。1.6T 网络布线有 DAC、AEC、AOC 以及 MMC 线缆等互联方案,以适配不同距离和场景需求。
| 线缆方案 | 核心特点 | 优势 | 适用场景 |
|---|---|---|---|
| DAC(Direct Attach Cable) | 无源铜缆直连方案 | 功耗低、成本低、时延小 | 机柜内超短距离互联 |
| AEC(Active Electrical Cable) | 在线缆中集成 Retimer/Redriver 芯片 | 信号完整性更好,支持更长传输距离 | 高速中短距 AI 互联 |
| AOC(Active Optical Cable) | 内置光电转换模块,通过光纤传输 | 带宽高、重量轻、抗电磁干扰能力强 | 跨机柜及长距离互联 |
| MMC 线缆 | 基于高密度同轴连接器设计 | 支持高速 SerDes 传输,布线密度更高 | GPU 服务器内部及板级互联 |
随着 1.6T 网络进入 200G/lane 时代,传统铜缆面临更严苛的信号完整性挑战,超擎数智 1.6T DAC线缆能提供高速的数据传输速度、高带宽和低延迟,为客户的高性能计算需求提供可靠高效的解决方案。
1.6T 网络相关测试有哪些
物理层收发器合规性验证
在 1.6T 网络中,224G/lane 高速信号对电气与光学测试提出了更严格要求。IEEE 802.3dj 等标准对抖动、误码率(BER)、信噪失真比(SNDR)及发射器色散等关键指标进行了规范,以确保高速链路的可靠性与互操作性。
-
电气测试:重点关注信号完整性,包括抖动、线性度、码间干扰及均衡能力;接收器测试则通过 BERT 注入压力信号,验证链路在复杂环境下的误码表现,这对 LPO 等低功耗方案尤为关键。
-
光学测试:TDECQ、OMA、消光比及 RIN 等指标成为衡量光模块性能的重要参数。由于 1.6T 光模块采用 224G PAM4 高速传输,因此需要更高带宽、低噪声的示波器与测试设备,以保证 AI 数据中心高速互联的稳定运行。
信号完整性检测与线缆测试
在 1.6T 网络环境下,线缆与互连组件同样面临严苛的信号完整性挑战。无论是光链路、ACC 还是 DAC 铜缆,在 224G/lane 速率下,插入损耗、回波损耗及串扰问题都会更加明显,微小的阻抗失配都可能影响链路稳定性。
-
高速线缆测试需要结合 S 参数分析、COM(信道工作裕量)以及 TDR(时域反射)等技术,对信道损耗、反射与串扰进行精确评估。其中,S 参数主要用于频域分析,TDR 则用于定位 PCB、连接器及线缆中的阻抗不连续点。
-
去嵌入(De-embedding)技术也是 1.6T 高速测试的重要环节,可有效去除测试夹具与适配器对测量结果的影响,从而更准确地反映被测链路的真实信号性能。
超越物理层测试
物理层合规只是 1.6T 收发器验证的基础。随着 224G/lane 与 1.6T 网络普及,真实 AI 场景中的拥塞、噪声及高负载问题,还需要通过 FEC 与网络压力测试进一步验证链路稳定性。
- FEC(前向纠错)测试
在 1.6T 网络中,FEC 是保障超高速链路可靠传输的关键技术。除了关注预 FEC 误码率外,还需要分析后 FEC 错误分布、突发错误及帧丢失率(FLR),以验证链路在高负载和复杂噪声环境下的稳定性,确保 AI 集群接近零丢包运行。
- 网络性能测试
1.6T 收发器测试不仅局限于物理层,还需要覆盖二层、三层网络性能验证。通过全线速以太网/IP流量模拟,可检测路由、拥塞、流量控制、时延及链路稳定性等问题,从而确保收发器能够满足 AI 训练中大规模并行数据传输需求。
AI 训练中大规模并行数据传输需求。与此同时,越来越多企业开始意识到,仅通过基础兼容性或实验室测试,并不意味着 AI 网络已经具备真实生产环境部署能力。在文章Why Passing Tests Doesn't Mean AI Infrastructure Is Production-Ready中也提到,AI 基础设施在正式上线前,还需要经过更完整的系统级网络验证与长期稳定性测试。
1.6T网络的市场趋势与挑战
1.6T网络市场趋势
随着生成式 AI、LLM 训练以及 AI 推理需求快速增长,AI 数据中心正在从传统云计算架构向超大规模 GPU 集群架构演进。在这一过程中,网络不再只是连接资源的基础设施,而是直接影响模型训练效率、GPU 利用率以及整体集群扩展能力的关键系统。
GPU 算力提升是推动 1.6T 网络发展的核心动力。从 NVIDIA H100 到 B200、B300,单节点 GPU 的计算能力与内部互联带宽持续提升,大规模 All-Reduce 集合通信也让东西向流量呈指数级增长。传统 400G 与 800G 网络逐渐接近带宽瓶颈,1.6T 网络开始成为下一代 AI Fabric 的重要演进方向。
224G/lane SerDes 的成熟,则是 1.6T 商用化的重要基础。相比上一代 112G PAM4,224G PAM4 能够在更少通道数量下实现更高带宽密度,同时推动 1.6T 光模块、51.2T 交换芯片以及高速互连生态逐渐成熟。目前,云服务商与 AI 基础设施厂商已经开始围绕 51.2T 和未来 102.4T 交换平台布局下一代 AI 网络架构
1.6T网络面临的挑战
在 1.6T 网络时代,最大的挑战已经不仅是带宽本身,而是功耗与散热问题。随着交换芯片、SerDes 与光模块速率持续提升,单设备功耗快速增长,高密度 AI 集群正在对数据中心供电与制冷系统带来巨大压力。
功耗:光模块功耗成为最突出的挑战之一。传统 DSP 架构的 1.6T 光模块单个功耗可达到 30W 甚至更高,在 32×1.6T 交换机中,仅光模块功耗就可能接近 1kW。这也是为什么行业开始加速推进 LPO与 CPO技术,通过减少甚至移除 DSP 来降低整体系统功耗。
液冷:OSFP-XD 等新型封装形态同样受到关注。相比传统封装,OSFP-XD 能够提供更高的散热能力与端口密度,以适应 1.6T 模块更高的热设计功耗(TDP)需求。与此同时,交换机整机功耗不断逼近甚至超过 2kW,也让传统风冷方案逐渐接近极限。
液冷因此正在成为 AI 数据中心的重要发展方向。无论是冷板式液冷还是浸没式液冷,都能够显著提升散热效率并优化 PUE(Power Usage Effectiveness)。虽然液冷方案会带来管路设计、漏液检测以及运维复杂度提升等新挑战,但对于未来高密度 AI 集群而言,液冷已经逐渐从"可选项"变为"必选项"。
1.6T网络的未来趋势
1.6T 网络并不是高速 AI 互联演进的终点,而更像是下一代 AI Fabric 架构的过渡阶段。随着万卡级、十万卡级 GPU 集群不断出现,AI 数据中心未来仍将持续向更高带宽、更低时延以及更高能效方向发展。
-
3.2T Networking:已经开始进入产业规划阶段。未来 102.4T 交换芯片将进一步提升单机交换容量,并推动网络向更高端口密度与更大规模扩展。与此同时,448G/lane SerDes 也正在成为下一代高速互联的重要研究方向。
-
CPO:未来超高速网络的重要技术路径之一。通过将光引擎与交换芯片直接集成到同一封装内,CPO 可以显著降低高速电信号传输损耗,同时进一步降低系统功耗并提升交换密度。这对于未来 3.2T 甚至更高速率网络尤为关键。
-
此外,AI Fabric 的演进也不仅仅局限于带宽升级。未来网络将更加重视低时延传输、拥塞控制以及大规模集合通信优化,以提升 GPU 集群整体训练效率。
可以预见,未来 AI 数据中心的竞争,将不仅是 GPU 算力的竞争,更是网络、光互联、封装与散热系统协同能力的竞争。更详细的1.6T光模块市场趋势,可以参阅博客:1.6T Transceiver Market Insights:Future of AI and HPC Networking.
结论
随着 AI 大模型训练与推理规模持续扩张,1.6T 网络正加速成为下一代 AI 数据中心的核心基础设施。从 224G/lane SerDes、51.2T/102.4T 交换芯片,到硅光、LPO、CPO 及液冷技术,高速互联生态正在向更高带宽、更低时延和更高能效持续演进。未来,1.6T 网络不仅将支撑万卡级、十万卡级 AI 集群建设,也将为 3.2T Networking 和下一代 AI Fabric 奠定基础。
与此同时,随着 AI 基础设施投资持续升温,光模块、线缆及高速互联产品需求快速增长,行业正面临产能紧张、交付周期延长等挑战。在此背景下,供应能力与交付能力正成为客户选择合作伙伴的重要考量因素。作为高速 AI 网络解决方案提供商,超擎数智不仅提供覆盖 光模块、线缆及高速互联产品的完整解决方案,更依托充足备货、稳定供应链和快速交付能力,能够满足客户大规模 AI 集群建设需求。凭借丰富的 AI 数据中心项目经验与成熟的部署实践,超擎数智可帮助客户缩短交付周期,加速构建高性能、高可靠性的下一代 AI 网络基础设施。


