在高性能计算、AI大模型训练和推理的场景下，为了尽可能提高集群的算力规模，服务器普遍采用八卡GPU设计，并配置八张200G IB卡为计算网络提供通信和带宽保障。在大规模服务器集群组建过程中，高速低延迟无损的网络设备（IB HDR交换机和IB HDR线缆）投入成本越来越大；尤其是当服务器节点大于100之后，网络架构由二层FAT TREE向三层FAT TREE转变，网络投入占比会有明显提高。

而NVIDIA 200G HDR Splitter H-Cable这款线缆通过更好的方式去解决spine交换机和leaf交换机之间的端口连接问题，极大提升了IB交换机的组网扩展能力，使其在二层架构下最大接入能力由100台服务器节点提升至200台服务器节点。下面简单来介绍这款线缆以及组网方式：

一、什么是200G HDR Splitter H-Cable？

NVIDIA提供的200G HDR Splitter H-Cable（MFS1S90-HxxxE） 线缆是一款基于 QSFP56 VCSEL（垂直腔表面发射激光器）的高性价比 2x 200Gb/s 至 2x 200Gb/s 有源光分路器电缆 (AOC)，每个 QSFP56 端均包含一个 EEPROM，提供可由主机系统读取的产品和状态监控信息。符合SFF-8665 /RoHS /FF-8636 标准；

主要的应用场景是使用胖树拓扑连接 200G leaf交换机和 Spine 交换机，提供交叉连接功能，可使 HDR InfiniBand QSFP56 交换机端口作为 2x HDR100 运行，如下图1所示； 

图1 Spine-Leaf全互联

三、200G HDR Splitter H-Cable的主要优势

一根200G HDR Splitter H-Cable（四个模块）即可完成两台spine到两台leaf之间的全互联，如果使用HDR100G直连线，则需要4根，8个模块，占据8个设备端口，极大浪费了交换机的端口资源；而如果使用HDR 200G直连线，则同样需要至少4根线缆，占据8个交换机端口，虽然提升了上下行带宽，但由于端口占用的关系限制了组网规模，如下图2所示；使用传统HDR 200G直连线和HDR IB交换机，二层Fat Tree组网是最大组建20台spine，40台leaf的无损网络，每台leaf的最大接入能力是20个200G端口，共计800个200G端口的接入能力，可满足100台服务器的组网需求。

图2 Fat Tree架构—200G HDR直连线缆

但使用200G HDR Splitter H-Cable和HDR IB交换机进行组网，在同样二层Fat Tree架构下，可将最大接入能力提升一倍至1600个200G端口，可满足200台八卡GPU服务器的组网需求。如下图3所示：

图3 二层Fat Tree架构—200G HDR Splitter H-Cable

如上图3所示，spine1-2和leaf1-2之间使用一根200G HDR Splitter H-Cable，对于Leaf1来讲，使用一个端口便可同时与两台spine进行互联，即使用20个端口，便可同时与40台spine进行互联，使得网络规模提升一倍。

而如下图4所示，在同样满足200台八卡GPU服务器网络需求的组网中，使用HDR 200G直连线则需要组建三层Fat Tree架构，需要更多的交换机设备和AOC线缆。

图4 三层Fat Tree架构

下表是针对200台八卡GPU服务器网络需求的组网中，使用HDR 200G直连线和HDR Splitter H-Cable所需设备数量的对比：

从上表可以看出：

交换机之间使用200G HDR直连线缆进行组网时，需要200台IB交换机和4800个HDR线缆，而当使用200G HDR Splitter H-Cable进行组网时，交换机数量变为120台，对比少80台，线缆数量为2400根，对比少2400根；虽然200G HDR Splitter H-Cable的价格约为200G HDR直连线缆的2.5倍，但由于交换机数量减少了80台，线缆减少了2400根，整体大概节约30%~40%左右成本。

在用户服务器集群规模逐渐扩大的过程中，尤其是从100台服务器开始，采用NVIDIA 200G HDR Splitter H-Cable（MFS1S90-HxxxE）极大的减少了交换机设备和线缆的数量、降低成本、提升了组网的端口接入能力、并为网络升级提供了更加平滑和经济的扩展能力，可以满足数据中心各种场景下的使用和部署。