基于NVIDIA QM8700/8790交换机与HDR网卡的InfiniBand高性能网络解决方案

水之积也不厚，则其负大舟也无力，如果将高性能计算、机器学习、大数据、云、web3.0 、存储平台等应用看作“舟”，那InfiniBand网络无疑是承载这些大舟的水。随着数据的爆发式增长，这些应用对网络带宽、延时、效率的要求不断提升，面对这些挑战，NVIDIA也相继推出InfiniBand 100G EDR、200G HDR以及400G NDR的解决方案。

纳多德是NVIDIA网络产品的Elite Partner，在InfiniBand高性能网络建设与应用加速方面拥有深刻的业务理解和丰富的项目实施经验。纳多德基于QM8700、QM8790交换机、HDR网卡与AOC/DAC/光模块，构建InfiniBand高性能网络，提供更出色的数据吞吐和网络计算能力，满足越来越高的计算需求。

什么是InfiniBand？

InfiniBand (IB) 是一个计算机网络通信标准，在高性能计算（HPC）领域有广泛的应用，可以提供高吞吐带宽和超低的网络传输时延。IB可以用于计算机内部或外部的数据互联。通过直连或者交换机互联的方式，提供服务器与存储，存储设备之间的高性能网络。IB网络可以通过交换机网络实现横向扩展，适应各种规模的组网需求。

图一 InfiniBand速率演进

作为计算机集群互联技术，IB技术相比以太网/Fibre Channel 和已经淘汰的Omni-Path技术有明显的优势，是InfiniBand Trade Association（IBTA）主要推荐的网络通信技术。从2014年开始，大多数的TOP500 超级计算机都采用了InfiniBand网络技术。近些年，AI/大数据相关的应用，也已经大规模的采用IB网络实现高性能的集群部署，其中Top100的超算中心有62%是使用的IB技术（2022年6月数据）。

图二 Top 100超算中心网络选择

InfiniBand较Omni-Path的优势

尽管NVIDIA已经推出了IB 400G NDR的解决方案，但现阶段仍有部分客户在使用100G解决方案。对于100G的高性能网络，常用的方案有Omni-Path和IB两种，虽然速率相同，性能相似，但网络结构差异巨大。以400节点集群为例，使用IB方案只需要15台NVIDIA Quantum 8000系列交换机+200条200G分支线缆与200条200G直连线缆；而使用Omni-Path则需要24台交换机+876条100G直连线缆（384节点）。IB方案在前期的设备成本以及后期运维成本上都极具优势，且整体功耗远低于Omni-Path，更加环保。

图三 InfiniBand方案与Omni-Path方案对比

InfiniBand HDR产品方案介绍

从客户端的需求来看，EDR正逐步退出市场，NDR速率太高，目前只有头部客户尝试使用，HDR凭借HDR 100G与HDR 200G的灵活性得到了广泛应用。在这里，纳多德针对HDR产品方案做详细介绍。

HDR交换机

HDR交换机有两类，一类是HDR CS8500框式交换机，一台29U的交换机提供最多800 个HDR 200Gb/s 端口，每个200G端口支持拆分为2X100G，即可支持1600个HDR100 100Gb/s端口。

另一类是QM8000系列盒式交换机，1U的面板上集成了40个200G QSFP56端口，最多可拆分为80个HDR 100G端口用来下连100G HDR网卡，同时每个端口也支持EDR，与EDR的网卡直连，需要注意的是200G HDR端口只能降速至100G与EDR网卡互联，无法拆分为2X100G连接两张EDR网卡。

图四 QM8700前面板

200G HDR盒式交换机有两种选择：QM8700和QM8790，两个型号交换机唯一区别在管理方式上，QM8700有control口支持带外管理，QM8790则需要NVIDIA Unified Fabric Manager (UFM®) platform进行管理。

图五 QM8790前面板

对于QM8700和QM8790，每个型号的交换机都有两种风向选择，其中8790-HS2F为 P2C airflow(前后风道) 风扇模块上蓝色标记，如果不认识标记，也可以用手浮在交换机的进风和出风口来辨别；8790-HS2R为 C2P airflow(后前风道)风扇模块上红色标记。这里P2C和C2P中 P表示Power电源，C表示Cable（线路接口），P2C（Power to Cable），C2P（Cable to Power ）这里参照系是Power电源侧为前，Cable线路接口侧为后。

表一 HDR交换机型号参数

QM8700和QM8790在实际使用中一般有两种方式，一是与200G HDR网卡互连，直接使用200G to 200G AOC/DAC即可；还有一种常见的使用方式是与100G HDR网卡互连，需要使用200G to 2X100G线缆，在使用的时候是将交换机的一个物理200G（4X50G） QSFP56端口拆分为2个虚拟的100G（2X50G）端口，在拆分之后该端口的符号从x/y更改为x/ Y /z，其中“x/ Y”表示拆分之前端口的先前符号，“z”表示产生的单车道端口的编号(1,2)，然后将每个子物理端口作为单个端口。

图六 HDR二层胖树典型结构

HDR网卡

HDR的网卡相对交换机来说种类丰富很多。首先，在速率上有两种选择HDR100与HDR，其中HDR100网卡支持100G的传输速率，2个HDR100端口可通过200G to 2X100G线缆与HDR交换机互联。与100G EDR网卡不同，HDR100网卡的100G端口既支持4X25G NRZ传输，也支持2X50G PAM4传输。HDR网卡支持200G的传输速率，可直接使用200G直连线缆与交换机互联。除了有两种接口速率之外，每种速率的网卡可根据业务需求选择单口和双口以及PCIe的类型，纳多德提供的常用IB HDR网卡型号如下：

表二 HDR网卡型号参数

InfiniBand网络架构简单，但方案选择却有多样，100G速率既有100G EDR方案，也有100G HDR方案；200速率也有HDR和200G NDR两种选择，不同的方案下使用到的网卡、连接件、交换机都有较大区别。

NADDOD作为NVIDIA Elite级别合作伙伴，可以根据不同客户的需求提供完整的InfiniBand解决方案。纳多德资深技术工程师拥有丰富的InfiniBand高性能网络方案设计与项目实施服务经验，可根据用户不同的应用场景，提供最优的QM8700/QM8790交换机+HDR网卡+AOC/DAC/光模块产品组合方案，实现超强性能和可扩展性，以更低的成本和出色的性能，为高性能计算 (HPC)、人工智能等应用提高投资回报率。







审核编辑：刘清