0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于 400Gbps 100G-PAM4 OSFP 和 QSFP112 的线缆和光模块之IB网络连接

卢昆明 来源:卢昆明 作者:卢昆明 2025-01-13 17:45 次阅读

什么是‌ [ NVIDIA LinkX ]

NVIDIA LinkX是指英伟达提供的一系列网络连接解决方案,主要用于高性能计算(HPC)和数据中心环境。LinkX涵盖了多种产品,包括连接交换机、网卡等设备的线缆和光模块,支持从100Gb/s EDR(Enhanced Data Rate增强速率)到200Gb/s HDR(High-Dynamic Range高动态光照渲染)再到最新的400Gb/s NDR(Next Data Rate最新的速率)速率。适用于100G/ 200G/ 400G 和 800G 基础设施的 InfiniBand 和以太网互连。这个网络架构中的光模块、有源光缆和DAC堆叠线缆具有非常出色的低延时、低功耗和可靠性,适用于AI加速计算。接下来我们重点看看400Gbps 100G-PAM4 OSFP 和 QSFP112 的线缆和光模块在这个网络解决方案中的连接是怎么样的?

连接方案概述

在高性能计算平台Quantum-2 InfiniBand、ConnectX-7网卡、高性能数据处理单元BlueField-3 DPU和为高性能计算和数据中心应用提供强大的支持的DGX™ H100 GPU 系统的 800Gb/s 和 400Gb/s 高速线缆和光模块连接方案中。其线缆连接方面包括最长3米的直连式线缆(DAC)、3米到5米的线性有源铜缆(ACC)、最长50米的多模光纤以及最长100米、500米和2公里的单模光纤。光模块方面:交换机端口可使用双端口八通道小型可插拔(OSFP)光模块;ConnectX-7有2种类型的封装,OSFP和QSFP112;BlueField-3数据处理单元的封装为QSFP112。

交换机、网卡、DPU适配的光模块封装是哪些?

在100G EDR系统和200G HDR系统中,交换机和网卡上适配的是QSFP28光模块和QSFP56光模块;在100G PAM4系统中,交换机、网卡、DPU等各自适用的光模块封装形式是不一样的。

InfiniBand NDR Quantum-2 QM9700交换机

这台交换机有32个端口,一个端口上可插入双端口顶部带散热片的2*400G光模块,称为双端口顶部散热OSFP端口。由于双端口OSFP光模块中有两个400G引擎,因此其总电口侧的数据速率为800Gb/s,也可以称为2x400G光模块。
文中图:1.png

ConnectX-7网卡:

CX7网卡上面的端口搭配的是平顶式400G单端口OSFP光模块或者是QSFP112、QSFP56、QSFP28封装形式的光模块。双端口顶部带散热片的光模块是不能用在CX7网卡和DPU上的,端口封装不匹配。
文中图:2.png

BlueField-3DPU:

DPU则仅可以插入QSFP112线缆和光模块,并且DPU可以兼容QSFP56和QSFP28光模块,但OSFP封装是不匹配的。
文中图:3.png

LinkX 100G-PAM4产品线概述

LinkX产品线包括直接连接铜线(DAC)、有源铜缆(ACC),以及多模和单模光模块和分支跳线。

DAC

l 在100G-PAM4系统中,DAC堆叠线最长可以达到3米。它们具有接近零延迟和功耗小于1W的特征。

l 针对2米的DAC堆叠线,我们采用30AWG线号;针对小于3米的DAC堆叠线,我们采用26AWG线号。

l 通常可以做成800G直连线缆,800G分2400G线缆,800G分4200G线缆,分支端的封装可选OSFP或者是QSFP112。

ACC

l ACC线缆是DAC高速线缆的一种,是一种在线缆的接收端(Rx端)加入一定能力的线性Redriver来提供信号的均衡和整形的技术,他利用芯片来补偿无源铜缆DAC的高频损失,更像是通过放大拟信号的有源电缆。

l ACC线缆远传输距离可达5米

l 800G端为功耗小于1.5W,分支端为0.6W和0.35W,延迟极低。

l 针对2米的DAC堆叠线,我们采用30AWG线号;针对小于3米的DAC堆叠线,我们采用26AWG线号。

l 通常可以做成800G直连线缆,800G分2400G线缆,800G分4200G线缆,分支端的封装可选OSFP或者是QSFP112。

850nm的多模光模块通过50直径的光纤进行信号的转换和传输

l 在多模光纤中进行传输,随着距离的增大,信号失真增大,多模光模块的最大传输距离是50米。

l 多模光模块的制造成本会底很多,因为50微米直径的大光纤芯易于将光纤与激光器和检测器对准,从而降低制造成本。

l 与单模光学器件相比,快速且易于对准和制造可最大限度地降低成本。

l 800G双端口OSFP光模块的功耗小于17W

l 400G QSFP112 或 OSFP 光模块功耗小于9W。

l 800G双端口直连或者是用一分二的分支跳线将800G光模块和2个400G光模块连接。

l 两个光模块端口均使用1分2光纤分支线缆,创建4个2x100G-PAM4(200G)链路。

l 不提供200Gb/s 多模光模块,与 2 通道光纤分路端一起使用时可实现 200G 并降低功耗。

1310波长光模块在9微米的纤芯上提供长达2km的信号传输。

l 纤芯直径小,难以对准和制造,因此单模光模块比多模光模块更昂贵。

l 800G双端口OSFP光模块的功耗小于17W

l 400G QSFP112 或 OSFP 光模块功耗小于9W。

l 不提供200Gb/s 多模收发器,与 2 通道光纤分路端一起使用时可实现 200G 并降低功耗。

l 单模光纤的主要优势在于其使用以下方式提供的长距离传输:

1)可定制50米1分2的分支光纤,通过分支光纤和单模光模块连接交换机和网卡。

2)可定制100M、500M、2KM距离的光纤用于交换机和交换机之间的连接。

英伟达LinkX IB网络解决方案的光模块、堆叠线和有源光缆特点:

传输距离: 数据中心用的光模块连接方案最远可达2km,但实际应用中,一般不超过50米。组件之间保持较短距离的连接,也是最大限度的减少延迟。

速率: 交换机端口的速率可达800G,网卡和数据处理单元的速率一般为400G

低延迟: 在这个网络系统中使用的光模块、有源光缆产品需要经过严格的测试,保证100G PAM4产品在传输大量数据时低延时要求,尽量减少数据的重传。

光模块直连: 可插拔光模块之前的连接可以使用分支线缆,将2个、3个或者5个光模块互联。

相同的电子和光学元件:不同的光模块封装

双端口OSFP 800Gb/s 顶部带散热片的高速线缆和光模块仅用于交换机。

双端口OSFP 800Gb/s 平顶式高速线缆和光模块可用于DGX-H100和NVLink4 交换系统。单模和多模都可以适用。

800G双端口OSFP光模块,平顶版和带散热片的具有相同的内部结构,一般应用于使用液冷系统中的设备和用于GPU链路的大型DGX H100机箱。

4通道400G光模块使用OSFP或QSFP112封装,两者的电子和光学元件相同。

封装兼容性

l DAC高速线缆和(AOC有源光缆,可向后兼容一端 2x200G 双端口 OSFP 和分支端2x 200G 或 2x 100G QSFP56/28,用于连接到HDR/200GbE和 100GbE/HDR100网卡和交换机。这些DAC和AOC是唯一可以将 NDR/400GbE 连接到 HDR/200GbE 系统的线缆。光模块是不兼容的。

l 另外,ConnectX-7网卡和 BlueField-3 DPU 中的 QSFP112 端口向后兼容,并支持带有4x50G-PAM4的QSFP56 200G 和带有4x 25G-NRZ 的 QSFP28 100G。端口接受不同类型的光模块,并且网卡可以降级到较慢的线路速率。

l 100G-PAM4 多模和单模光模块无法降速到 50G-PAM4 和 25G-NRZ 的较低线路速率。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据中心
    +关注

    关注

    16

    文章

    4898

    浏览量

    72492
  • 线缆
    +关注

    关注

    5

    文章

    564

    浏览量

    29199
  • 光模块
    +关注

    关注

    77

    文章

    1290

    浏览量

    59320
收藏 人收藏

    相关推荐

    Mellanox CX7网卡适用的400G模块型号

    QSFP112模块。MCX75310AAS-NEAT为支持400Gb/s传输速率的单端口OSFP网卡。MCX755106AS-HEAT为
    的头像 发表于 12-31 09:07 253次阅读

    400G 网络如何测试

    ,现场技术人员和工程代维公司将能够迅速获得测试结果,证明以太网服务满足SLA要求。这些测试也可作为性能 基准供将来参考之用。FTBx-88480系列400G测试解决方案,用于在实验室、产线和现场验证线缆
    发表于 12-12 10:56

    初识模块之光模块的分类

    实现400G的信号传输,在电口侧使用8路53Gbps PAM4电信号,采用OSFPQSFP-DD的封装形式。 相比较来说,
    发表于 12-10 08:59

    400G QSFP-DD模块:技术解析与应用前景

    、ER4、ER8和ZR,并分析了这些类型之间的区别和应用场景。文章还探讨了QSFP-DD与QSFP112OSFP
    的头像 发表于 12-02 14:17 344次阅读

    400G模块有哪些分类

    封装形式上,400G模块可以分为CDFP、CFP8、OSFPQSFP-DD等。下图是400G
    的头像 发表于 11-12 13:45 789次阅读
    <b class='flag-5'>400G</b><b class='flag-5'>光</b><b class='flag-5'>模块</b>有哪些分类

    400G QSFP-DD ER4 模块概述

    400G QSFP-DD ER4 模块是一种高性能的光通信模块,专为数据中心和电信
    发表于 11-12 11:32

    三种封装形式下的400G模块概述

    本文主要就三种封装形式(QSFP-DD、OSFPQSFP112)的400G模块做了简单的梳理
    的头像 发表于 11-11 11:35 616次阅读
    三种封装形式下的<b class='flag-5'>400G</b><b class='flag-5'>光</b><b class='flag-5'>模块</b>概述

    400G DR4、FR4、LR4、SR8 QSFP-DD模块概述

    400G以太网过渡。400G QSFP-DD模块400G高速率
    的头像 发表于 11-04 11:48 1002次阅读
    <b class='flag-5'>400G</b> DR<b class='flag-5'>4</b>、FR<b class='flag-5'>4</b>、LR<b class='flag-5'>4</b>、SR8 <b class='flag-5'>QSFP</b>-DD<b class='flag-5'>光</b><b class='flag-5'>模块</b>概述

    400G模块型号介绍

    -DD 400GBASE-LR8、QSFP-DD 400GBASE-LR4QSFP-DD 400GBASE-ER8、
    的头像 发表于 10-28 13:08 2613次阅读

    联讯仪器 高速模块 All In One 测试方案介绍

    MPT8104集成口误码分析仪(BERT),MCB,以及TEC温循控制单元,可应用于400G/800G模块在高低温环境下的误码性能及眼图
    的头像 发表于 09-03 10:40 374次阅读
    联讯仪器  高速<b class='flag-5'>光</b><b class='flag-5'>模块</b> All In One 测试方案介绍

    模块的“身份证”:易天400G QSFP-DD/OSFP写码板

    为满足客户在购买批量模块后,会应用在不同设备上需要重新写码的需求,易天推出了SFP/XFP/SFP+/QSFP/QSFP112/QSFP-DD/OS
    的头像 发表于 08-09 14:37 646次阅读
    <b class='flag-5'>光</b><b class='flag-5'>模块</b>的“身份证”:易天<b class='flag-5'>400G</b> <b class='flag-5'>QSFP</b>-DD/<b class='flag-5'>OSFP</b>写码板

    英伟达400G 100G-PAM4 OSFPQSFP112模块在交换机上的验证与优化

    英伟达推出的400G 100G-PAM4 OSFPQSFP112模块为交换机
    的头像 发表于 07-11 17:52 1582次阅读
    英伟达<b class='flag-5'>400G</b> <b class='flag-5'>100G-PAM4</b> <b class='flag-5'>OSFP</b>和<b class='flag-5'>QSFP112</b><b class='flag-5'>光</b><b class='flag-5'>模块</b>在交换机上的验证与优化

    SG3225EEN在PAM4模块400GQSFP-DD模块中的应用

    爱普生晶振SG3225EEN,156.25MHz在PAM4模块QSFP-DD模块中的应用。
    发表于 05-10 14:41 0次下载

    易天800G OSFP SR8模块最新产品解决方案

    800G OSFP SR8模块是一种可热插拔的光纤收发模块,它被设计用于数据中心800G SR
    的头像 发表于 03-22 17:51 1279次阅读
    易天800<b class='flag-5'>G</b> <b class='flag-5'>OSFP</b> SR8<b class='flag-5'>光</b><b class='flag-5'>模块</b>最新产品解决方案

    深入解析400G QSFP-DD LR4模块性能优势

    数字化时代的进步,推动着数据中心网络100G升级至400G、800G、1.6T高速率发展。400G
    的头像 发表于 02-28 14:51 1216次阅读
    深入解析<b class='flag-5'>400G</b> <b class='flag-5'>QSFP</b>-DD LR<b class='flag-5'>4</b><b class='flag-5'>光</b><b class='flag-5'>模块</b>性能优势