AI存储进入 200G IB 时代

行业洞察超擎数智

AI 存储网络接口必须采用 RDMA 降低时延,而 InfiniBand 除 RDMA 外还具备协议栈简单、处理效率高、管理简单等固有优势,已从 HPC 事实标准延伸到深度学习与超大规模云。文章判断:400G NDR 尚新、性价比不足之际,200G HDR IB 是高端 AI 存储首选,可支撑脑映射等最高端场景与多 GPU 系统。

人工智能市场的高速发展,带动了AI存储的发展。AI存储的网络接口,毫无疑问必须采用RDMA技术,只有这样才能有效降低系统的时延。RDMA技术原来主要用在Infiniband(IB)网络上,但现在无损以太网也支持。但除了RDMA,IB还具有协议栈简单、处理效率高、管理简单等优点。由于IB的固有优势,目前高端的AI存储,一般优选IB网络,这也可以从历年的全球TOP500超级计算榜单可以看出。

InfiniBand 已成为高性能计算系统的事实标准,被深度学习基础设施广泛采用,并且越来越多地用于超大规模云数据中心。

InfiniBand 提供了许多关键优势。它是一个全传输卸载网络,这意味着所有网络操作都由网络管理,而不是由 CPU管理。它是最有效的网络协议,这意味着能够以更少的开销传输更多数据。InfiniBand 的延迟也比以太网低得多,最重要的是,它在网络内部集成了处理引擎,可加速深度学习和高性能计算的数据处理。这些是任何计算和数据密集型应用程序的关键技术优势。这就是为什么 InfiniBand 已成为高性能、科学和产品模拟的公认标准。

随着GPU的能力越来越强,对带宽要求也愈来愈高。目前IB虽然已经有了400G NDR的产品,但是产品太新,性价比不高,从性价比角度考虑,200G HDR IB是目前高端AI存储的首选。

200G HDR可以支持目前最高端的应用场景,比如脑映射。而且,现在的AI系统都是多GPU的,更高的速度,就可以支撑更多的GPU。这些因素,使得AI存储支持200G IB成为一个很大的优势。