从800G迈向1.6T:下一代AI集群高速光互联全解析

技术文章

在当前AI数据中心建设中,800G Ethernet正在成为高速互连的重要选择。面向NVIDIA Vera Rubin等新一代AI平台,网络架构也开始向1.6T单通道200G SerDes方向演进。 NVIDIA Spectrum-6交换平台采用200G SerDes技术,ConnectX-9 SuperNIC可提供最高800Gb/s吞吐能力,进一步推动AI Scale-out网络进入1.6T时代。

1.6T Ethernet光模块作为下一代AI集群高速互连的关键器件,通过采用200G/lane PAM4高速电通道,相比当前100G/lane PAM4的800G光模块,在端口速率、交换机端口密度以及系统扩展能力方面实现进一步提升。

目前1.6T Ethernet生态处于快速发展阶段,相比成熟的400G/800G方案,会面临在接口形态、200G/lane SerDes技术、光电通道配置、800G与1.6T互通方式、交换机端口演进以及产品之间的搭配等技术问题。

因此,针对1.6T光模块应用场景、互连方案等问题进行梳理,有助于帮助客户更好理解下一代AI集群网络演进方向,并快速完成高速光互连方案选型。

一、基础科普:读懂1.6T光互连

提问:从800G升级到1.6T,主要价值是什么?

回答:

从800G升级到1.6T可以显著提升单端口带宽密度和网络扩展能力,通过减少交换机端口数量和互连链路数量,降低AI集群网络复杂度、功耗和部署成本。对于下一代AI Factory和大规模GPU集群,1.6T能够满足更高算力带来的数据交换需求,提升GPU间通信效率,支持更大规模、更高性能的AI训练集群部署。

OSFP光模块的IHS和RHS有什么区别?能否互换或互通?

回答:IHS和RHS的核心区别在于散热方式,具体如下:

IHS(Integrated Heat Sink):模块顶部自带固定散热鳍片,通常用于与OSFP IHS cage匹配的风冷交换机;

RHS(Riding Heat Sink):模块本身采用平顶结构,用于特定OSFP RHS风冷交换机、OSFP RHS液冷交换机和网卡。

二者机械结构、散热方案不兼容,无法直接互换,必须搭配对应OSFP Cage和设备散热方案;但在速率、光接口、协议匹配前提下,两类模块光链路可互通。

提问:O112-800G-DR4,O112-800G-DR4T,OSFP-800G-DR4都是800G DR4,SMF 500m光模块,主要区别是什么?

回答:

O112-800G-DR4:通过Gearbox芯片实现电侧8x100G PAM4转换成光侧4x200G PAM4,不带散热片,主要用于ConnectX-8、ConnectX-9网卡以太网应用。

OSFP-800G-DR4:光电侧都采用4x200G PAM4,不带散热片,主要用于ConnectX-9网卡以太网应用。

O112-800G-DR4T:与O112-800G-DR4原理方案一样,区别就是散热方式不同,带有散热片,主要用于800G OSFP交换机上。

提问:200G PAM4/lane的模块,能否与现有25G NRZ/lane、50G PAM4/lane或100G PAM4/lane的模块直接互通?

回答:

通常不能直接互通。光模块能否互通,不能仅看总带宽与封装规格,还需同时匹配以下参数要求:

单通道速率匹配:25G/50G/100G/200G;

光侧Lane数量;4-lane ⇔ 4-lane,8-lane ⇔ 8-lane;

FEC模式匹配;

协议模式一致;以太网/InfiniBand

提问:1.6T、800G、400G 光模块在调制格式与光通道配置上有哪些核心差异?

回答:

参考下图,400G、800G和1.6T模块,每个方向均采用 8 条电气通道(8路发射、8路接收)。单通道速率分为50G PAM4、100G PAM4或200G PAM4,对应总聚合带宽分别为400Gb/s、800Gb/s、1.6Tb/s。

现有400G/800G光模块(如QDD-400G-DR4、OSFP-800G-2xDR4)采用100G PAM4光通道,彼此间可互通,但无法和采用200G PAM4光通道的1.6T光模块对接。新一代带Gearbox芯片的800G 光模块(如O112-800G-DR4)使用200G PAM4光通道,可与1.6T光模块互通。

image image

提问:OSFP-1.6T-2×FR4适合哪些场景? 与OSFP-1.6T-2DR4L有什么区别?

回答:

二者主要区别在于光纤接口和光纤使用数量。

OSFP-1.6T-2DR4L: 典型传输距离为2公里;通常采用双MPO-12/APC接口;适合AIDC高密度跨机房长距离的连接。

OSFP-1.6T-2×FR4: 典型传输距离可达2公里;通常采用2xLCDuplex接口;通过波分复用减少光纤芯数;适合AIDC高密度跨机房长距离的连接。

OSFP-1.6T-2xFR4这款光模块由于端口采用2xLC duplex接口,在对比OSFP-1.6T-2DR4L这款光模块,在实际的AI数据中心部署中,布线更加方便且能够极大为客户节省光纤成本和人工布线成本。

提问:1.6T FRO、1.6T LRO、1.6T LPO光模块有什么区别?

回答:

FRO(Fully Retimed Optics)、LRO(Linear Receive Optics)和LPO(Linear Pluggable Optics)的主要区别在于DSP处理方式不同。FRO采用完整DSP进行收发两端信号重定时,兼容性和链路性能最好,但功耗较高;LRO取消接收端DSP,仅保留发射端DSP,在降低功耗的同时保持较好的链路性能;LPO取消模块内部DSP,采用线性驱动和均衡技术,实现最低功耗和最低延迟,但对交换机/NIC SerDes处理能力要求更高。

提问:如何实现800G OSFP交换机(100G serdes/lane)与1.6T OSFP交换机(200G serdes/lane)之间互连?

回答:

可推荐OSFP-1.6T-2xDR4光模块+S2MPOA12FB跳线+O112-800G-DR4T光模块,能满足上述设备之间互连。

提问:为什么当前1.6T产品以单模光模块为主?

回答:

200G/lane VCSEL需要突破器件带宽、信号完整性和链路可靠性等技术瓶颈,在量产难度都高于单模方案,故行业优先选择单模光模块。

提问:OSFP-1.6T-CU1、OSFP-1.6T-AC11和OSFP-1.6T-AE3这三款线缆有什么区别?

回答:

OSFP-1.6T-CU1属于无源DAC铜缆,没有有源器件,具备低功耗、低时延、低成本的优势,最大传输距离1米,适用同机柜短距离互连;

OSFP-1.6T-AC11属于ACC有源铜缆,在DAC铜缆的基础上,内置Redriver线性均衡芯片等器件对信号进行增强,最远传输2.5m,适用于机柜间短距离互连;

OSFP-1.6T-AE3属于AEC有源电缆,内部集成DSP/Retimer,可对高速信号进行重定时和恢复,最远可以传输3m,适用于机柜间短距离互连;

二、产品搭配:1.6T模块应该如何选?

提问:1.6T光模块主要应用于哪些AI网络场景?

回答:主要用于下一代AI集群的Scale-out高速网络。

典型应用包括:

NVIDIA Spectrum-6等新一代设备之间互连;

面向ConnectX-9等SuperNIC的高速互连;

万卡、十万卡级GPU集群的高带宽Scale-out网络;

高性能存储、分布式训练和大规模推理网络。

提问:OSFP-1.6T-2xDR4 光模块能否与传统OSFP-800G-2xDR4 光模块直接互通?

回答:

不支持,因为1.6T 2xDR4光模块采用的是双MPO-12接口,光侧为Dual 4x200G PAM4,而800G 2xDR4采用双MPO-12接口,光侧为Dual 4x100G PAM4,两者光侧速率不一致无法互联。如果实现1.6T交换机和CX8网卡互联,800G端光模块产品可以推荐单端口O112-800G-DR4。

提问:OSFP-1.6T-2×DR4与OSFP-1.6T-2DR4F有什么区别?

回答:

OSFP-1.6T-2xDR4属于带有散热片的封装外形,即IHS,主要用于1.6T OSFP IHS交换机(风冷),而OSFP-1.6T-2DR4F属于封装外形不带有散热片,即RHS,需要靠外部设备散热,主要用于1.6T OSFP RHS交换机上(风冷or液冷);

提问:1.6T RoCE交换机与800G NVIDIA ConnectX-8ConnectX-9网卡互连,应如何搭配模块?

回答:

1.6T交换机连接ConnectX-8与ConnectX-9的模块搭配示意图:

image

提问:OSFP-1.6T-2xDR4光模块是否支持拆分应用?

回答:

支持,但需要交换机端口同时支持相应拆分模式。典型拆分方式包括:2×800G、4×400G、8×200G;拆分连接通常需要配合MPO分支光纤、对应速率的对端模块以及正确的端口配置。

提问:OSFP-1.6T-AC11F 和 OSFP-1.6T-AC11这两款1.6T ACC线缆的主要应用场景是什么?

回答:

OSFP-1.6T-AC11F两端采用RHS散热方式,主要用于1.6T OSFP RHS交换机之间互连(液冷/风冷)或NVIDIA ConnectX-8/ConnectX-9 OSFP网卡/B300服务器之间性能测试。

OSFP-1.6T-AC11两端采用IHS散热方式,主要用于1.6T OSFP IHS交换机之间互连(风冷)。

提问:O2O224-1.6T-AC2这款1.6T 分支ACC主要应用场景是什么?

回答:

主要用于AI集群中1.6T OSFP交换机端口到2×800G ConnectX-8、ConnectX-9 NIC的Breakout连接,实现1.6T端口向多个800G端口扩展,适用于AI/HPC集群服务器互连和高密度数据中心短距离布线场景。

三、部署提醒:使用注意事项

提问:OSFP-1.6T-2DR4F RHS模块能否用于风冷交换机?

回答:

可以,目前1.6T交换机风冷有两种形态,一个是IHS,另外一种是RHS;如果交换机采用与RHS模块匹配的OSFP RHS端口结构,那么就是可以搭配使用的。

提问:200G SerDes的1.6T交换机能否使用电侧为100G SerDes的800G光模块?

回答:

目前市面上已发布的1.6T交换机基本都支持,但存在少数1.6T交换机不支持端口降速,可以通过查询交换机规格参数来了解是否支持。

提问:Ethernet 1.6T光模块能否用于NVIDIA XDR InfiniBand交换机?

回答:

不支持,IB交换机需要使用对应的IB光模块。

提问:针对O2O224-1.6T-AC2这款1.6T 分支ACC线缆,仅使用它的一个800G分支端,第二个800G分支端未插接网卡,是否会影响另外一个分支端的正常使用?

回答:

不影响,因为设备配置端口拆分功能后,设备内部生成两个逻辑端口,各分支分别对应独立逻辑端口,彼此互不影响。

四、超擎数智200G SerDes以太网800G/1.6T产品矩阵:从“模块选型”走向“系统级适配”

针对下一代AI Ethernet网络,超擎数智可提供覆盖1.6T和800G速率不同散热结构光模块以及DAC/ACC/AEC铜缆,满足交换机到交换机、交换机到网卡以及端口拆分等应用需求。

image image

** 代表不同长度规格。*

从800G向1.6T升级,并非单纯将光模块端口速率翻倍。

在实际AI集群建设中,交换机端口模式、网卡SerDes速率、光模块光电转换方式、散热结构、光纤类型以及设备兼容性,共同决定网络能否稳定运行。

因此,1.6T光互连方案选型需要重点回答以下问题:

应用场景:集群主要用于AI模型训练还是推理。

集群规模:客户的算力集群规模。

网络协议:当前计划采用哪种网络协议。

产品搭配:两端连接的设备型号、设备的版本、部署的距离。

超擎数智可围绕AI算力节点、RoCE交换网络、光模块与线缆、光纤布线以及集群交付,提供从需求分析、产品选型、兼容性验证到部署实施的一体化支持,帮助客户降低高速网络建设中的试错成本,构建面向下一代AI负载的高带宽、低延迟、可扩展互连体系。

随着Vera Rubin、Spectrum-6和ConnectX-9等新一代平台逐步落地,1.6T Ethernet将从前沿技术走向规模化应用。面向这一趋势,超擎数智将持续完善高速互连产品与服务能力,助力企业平稳完成从800G到1.6T的网络演进。