0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

InfiniBand与以太网的对比分析

智能计算芯世界 来源:智能计算芯世界 2024-10-23 11:23 次阅读

InfiniBand作为一种先进的内网计算平台,已成为驱动高性能计算(HPC)、人工智能AI)以及超大规模云基础设施演进的核心力量,其展现出无可比拟的性能优势。专为满足服务器级连接需求而设计,InfiniBand在服务器间的高速通信、存储设备与网络设施之间的高效互联中扮演着至关重要的角色。这一技术凭借其卓越性能和可靠表现,不仅被InfiniBand行业协会广泛接纳并积极推广,更是在全球超级计算机500强榜单(TOP500 list)中占据了主导地位,成为首选互连解决方案。

值得注意的是,在TOP500系统列表中,有44.4%的系统采用了InfiniBand作为关键的互连技术手段,远超过采用以太网技术的40.4%份额。接下来,我们将深入剖析InfiniBand相较于以太网的独特之处及其在高性能网络环境中的差异化应用价值。

InfiniBand与以太网的对比分析

InfiniBand技术概述

作为一种由InfiniBand贸易协会(IBTA)指导制定的标准化通信规范,InfiniBand专注于设计一种适用于数据中心内部服务器、通讯基础设施设备、存储解决方案以及嵌入式系统之间互连的交换结构体系。其对标准化的高度关注确保了在高性能计算网络环境中各组件间实现无缝集成和高效信息传递。

InfiniBand凭借其显著的高带宽及低延迟特性而闻名遐迩,目前支持诸如FDR 56Gbps、EDR 100Gbps、HDR 200Gbps乃至NDR 400Gbps/800Gbps(通过4x链路宽度连接时的数据传输速率),并有望在未来进一步提升速度阈值。此外,InfiniBand具备出色的可扩展性,可在单个子网内轻松支持数万个节点,因此成为高性能计算(HPC)环境的理想选择。同时,借助服务质量(QoS)和故障转移功能,InfiniBand成为了非易失性内存快速结构化接口(NVMe-oF)存储协议以及包括以太网、光纤通道(FC)和TCP/IP在内的多种网络架构中的关键组件。对于追求卓越性能与极致扩展性的数据中心而言,采用InfiniBand无疑是明智之举。

以太网技术概述

源自施乐公司英特尔公司和DEC共同构思的以太网标准,已经成为全球范围内使用最为广泛的局域网(LAN)数据传输通信协议。自20世纪70年代起,以太网作为一种有线通信技术被开创出来,用于连接各种局域网(LAN)或广域网(WAN)内的设备。得益于其极高的适应性,无论是打印机还是笔记本电脑等不同类型的设备都能够通过以太网实现相互连接,应用场景广泛覆盖建筑楼宇、居民住宅乃至小型社区。用户友好的配置方式使得只需通过路由器和以太网连线即可简便构建LAN网络,进而整合各类如交换机、路由器和个人计算机等设备。

尽管无线网络在许多场合得到广泛应用,但以太网仍凭借其卓越的可靠性和抗干扰能力,在有线网络领域保持着首选地位。历经多年的发展与修订,以太网不断提升和完善自身功能。如今,IEEE旗下802.3标准组织已经发布了包括100GE、200GE、400GE和800GE在内的多个以太网接口标准,这体现了业界持续推动和优化以太网技术的决心与努力。

InfiniBand与以太网在高性能网络环境中的对比分析

InfiniBand技术最初旨在解决高性能计算环境中集群间数据传输的瓶颈问题,随着时间推移,已逐渐演变为一种广泛应用的互连标准,并成功适应了现代多样化的需求。相较于以太网,InfiniBand在带宽、延迟、网络可靠性和网络架构等方面表现出显著差异。

网络带宽

InfiniBand的发展速度较快,尤其体现在其对高性能计算场景的高度优化和降低CPU处理负载的能力上。而以太网尽管广泛应用于各类终端设备间的连接,但在高带宽需求层面并不像InfiniBand那样迫切。

网络延迟性

InfiniBand采用Cut-Through交换技术,在转发数据时能将延时降至100纳秒以内,大大提升了网络响应速度。相比之下,以太网由于在其交换机中引入了诸如IP、MPLS、QinQ等服务所带来的额外处理流程,导致转发延时相对较高。

网络可靠性

InfiniBand凭借明确的第1层至第4层协议格式设计以及端到端流控制机制,确保了无损网络通信,为高性能计算领域提供了卓越的可靠性保障。而以太网则缺乏类似的基于调度的流控制机制,依赖于芯片更大的缓存区域临时存储消息,这不仅增加了成本,还加剧了功耗。

网络管理

InfiniBand借鉴了软件定义网络(SDN)理念,使其网络架构更为简洁高效。每个第二层网络内部都配备了一个子网管理器,用于配置节点并智能计算转发路径信息。与此相反,以太网需要依赖MAC地址条目、IP协议以及ARP协议等多个层次实现网络互联,从而增加了网络管理的复杂性。此外,以太网依靠定期发送更新包来维护路由表,并通过VLAN机制划分虚拟网络边界,限制网络规模;然而这种机制可能导致环路等问题出现,因此通常还需要STP等额外协议来进行环路避免。

深入解析InfiniBand产品系列

InfiniBand 交换机和光纤网卡

对比分析表明,相较于以太网,InfiniBand网络在高性能计算领域展现出了无可比拟的优势。对于计划在高级数据中心部署InfiniBand交换机的用户而言,有必要深入了解其详细性能特点和迭代历程。历经多年快速发展,InfiniBand标准已从最初的SDR 10Gbps、DDR 20Gbps、QDR 40Gbps,逐步演进到FDR 56Gbps、EDR 100Gbps,并进一步发展为HDR 200Gbps及NDR 400Gbps/800Gbps等更高速率规格,这些重大突破得益于RDMA(远程直接内存访问)技术的集成应用。

408dabfe-9074-11ef-a511-92fbcf53809c.png

飞速(FS)为此提供了一系列先进InfiniBand解决方案,其中包括NVIDIA Quantum-2 NDR InfiniBand 400G数据中心交换机以及NVIDIA Quantum HDR InfiniBand 200G数据中心交换机,这两款产品均支持管理型和非管理型两种配置模式,以满足不同客户对灵活性的需求。此外,为了确保全方位服务支持,针对400G交换机,飞速(FS)还提供了为期一年、三年或五年的服务选项,旨在帮助用户实现高效稳定的数据中心运行环境。

wKgZoWcYbHWAKcBXAADBpXa8XzE469.png

InfiniBand光模块

40f3517a-9074-11ef-a511-92fbcf53809c.png

InfiniBand DAC高速线缆

41124d78-9074-11ef-a511-92fbcf53809c.png

InfiniBand AOC有源光缆

41319d7c-9074-11ef-a511-92fbcf53809c.png

InfiniBand技术标准概览及优势分析

InfiniBand NDR(下一代数据速率)

InfiniBand NDR系列包括了适用于400Gbase/800Gbase传输速率的光收发器与直连铜缆(DAC),旨在兼容Mellanox NDR 400Gb交换机,如MQM9700/MQM9790系列。这些组件在GPU加速计算场景中提供了高性能连接,并有望节省高达50%的成本。它们特别适合于高性能计算(HPC)、云计算、模型渲染和基于InfiniBand 400Gb/800Gb网络的存储应用。

InfiniBand HDR(高数据速率)

飞速(FS)推出的InfiniBand HDR产品线涵盖了多样化的高速互联产品,例如200Gb/s和400Gb/s QSFP56 IB HDR多模光纤(MMF)有源/无源光缆(AOC)、有源/无源直连铜缆(DAC)、光学收发器路由器以及200G交换机等。这些模块和电缆能够无缝衔接MQM8700/MQM8790等交换机与NVIDIA GPU(如A100/H100/A30)和CPU服务器,以及ConnectX-5/6/7 VPI等存储网络适配器。此类解决方案不仅可实现最高达50%的成本节约,而且在涉及GPU加速的高性能计算(HPC)集群应用——包括模型渲染、人工智能(AI)、深度学习(DL)以及InfiniBand HDR环境下的NVIDIA应用网络通信时表现出卓越性能。

InfiniBand EDR(增强数据速率)

InfiniBand EDR产品系列提供了一系列100Gbase QSFP28 EDR AOC、EDR DAC、AOC及光收发器,专为GPU加速计算设计,具有成本效益高且性能优越的特点。

InfiniBand FDR(十四倍数据速率)

InfiniBand FDR产品范围包括了40Gbase QSFP+ FDR10 AOC、DAC及光收发器,以及56Gbase QSFP+ FDR DAC和AOC。所有这些产品均可无缝整合到Mellanox EDR交换机之中。

InfiniBand在网络高效能计算中的显著优势

随着数据通信、互联网技术和可视化展现需求的不断提升,对计算能力、存储容量以及网络效率的需求也随之增长。在此背景下,InfiniBand网络凭借其提供的高带宽服务、低延迟特性以及将协议处理和数据移动从CPU转移到互连层以减少计算资源消耗的独特优势,成为了高性能计算数据中心的理想选择。此技术广泛应用于Web 2.0、云计算、大数据处理、金融服务、虚拟化数据中心以及存储应用等领域,带来了显著的性能提升效果。

速度方面,InfiniBand已超越100G以太网,目前支持从100G/200G到400G/800G不等的InfiniBand交换机配置,完美契合HPC架构的高性能要求。InfiniBand交换机通过高带宽、高速度与低延迟的有效结合,有力提升了服务器效能和应用运行效率。

扩展性是InfiniBand另一项突出优点,单个子网能够在网络层2上支持多达48,000个节点,相比以太网,它减少了对ARP广播机制的依赖,有效避免了广播风暴并减轻了额外带宽浪费。此外,多个子网可以灵活地关联至交换机,进一步增强了网络的灵活性。

飞速(FS)深刻认识到高性能计算的重要性,因此提供了一系列基于Quantum InfiniBand交换设备构建的InfiniBand产品。这些产品支持高达16Tb/s的无阻塞带宽,并拥有低于130ns的端口间延迟,确保为HPC数据中心提供高可用性和多服务支持。尽管以太网网络通过跨多个设备分配工作负载仍不失为有效的数据传输选项,但FS同样供应一系列多速率以太网交换机,协助客户构建既灵活又高效的网络环境。

选择合适的网络

在选择合适的网络技术时,InfiniBand与以太网各自在不同应用场景中展现出独特优势。当聚焦于显著提升数据传输速率、优化网络资源利用率并有效减轻CPU在网络数据处理方面的负担时,InfiniBand网络凭借其核心技术优势,在高性能计算领域脱颖而出,成为关键的解决方案。

然而,在数据中心环境中,若节点间通信延迟并非首要考量因素,且更加重视网络接入的灵活性与扩展性,则以太网网络能够提供一种长期稳定且适应性强的基础设施支持。

InfiniBand网络凭借其卓越性能和创新架构设计,为HPC数据中心用户带来了前所未有的业务效能优化潜力。通过消除多层级结构所导致的延迟问题,并确保关键计算节点能无缝升级接入带宽,InfiniBand技术对于整体运营效率的提升起到了决定性作用。随着其应用范围不断扩大和技术认可度持续攀升,预计未来InfiniBand网络将在更多复杂且要求严苛的应用场景中得到广泛应用和部署。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 以太网
    +关注

    关注

    40

    文章

    5374

    浏览量

    171051
  • 计算机
    +关注

    关注

    19

    文章

    7413

    浏览量

    87694
  • AI
    AI
    +关注

    关注

    87

    文章

    30095

    浏览量

    268352
  • InfiniBand
    +关注

    关注

    1

    文章

    29

    浏览量

    9180

原文标题:InfiniBand:赋能高性能计算网络的卓越引擎

文章出处:【微信号:AI_Architect,微信公众号:智能计算芯世界】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    EtherCAT-Analyzer实时以太网分析仪# 以太网

    以太网ethercat
    ZLG致远电子
    发布于 :2022年12月12日 09:59:58

    EtherCAT实时以太网分析仪直击痛点#以太网

    以太网ethercat
    ZLG致远电子
    发布于 :2022年12月12日 10:01:26

    EtherCAT实时以太网分析仪应用场景#以太网

    以太网ethercat
    ZLG致远电子
    发布于 :2022年12月12日 10:02:50

    EtherCAT实时以太网分析仪功能详解#以太网

    以太网ethercat
    ZLG致远电子
    发布于 :2022年12月12日 10:04:00

    车载以太网基础培训——车载以太网的链路层#车载以太网

    车载以太网
    北汇信息POLELINK
    发布于 :2023年09月19日 16:25:21

    小型PLC对比分析

    小型PLC对比分析.
    发表于 04-27 15:43 71次下载
    小型PLC<b class='flag-5'>对比分析</b>

    多普勒天气雷达探测数据对比分析

    我国即将建成由216部多普勒天气雷达组成的观测,组网雷达数据对比分析是及时发现雷达故障、为雷达定标提供参考,提高短时临近天气预报准确率的基础。为解决上述问题,研发了雷达组网数据对比分析
    发表于 02-12 14:44 0次下载

    汽车以太网与工业以太网物理层对比

    另外,TJA1101/1102通过了OPEN Alliance的IOP测试,在需要调试汽车以太网的情况下,也可以将其连接到工业以太网进行交互,为此,立功科技设计了汽车以太网与工业以太网
    的头像 发表于 03-22 16:10 1.5w次阅读
    汽车<b class='flag-5'>以太网</b>与工业<b class='flag-5'>以太网</b>物理层<b class='flag-5'>对比</b>

    如何快速分辨以太网与千兆以太网

    本文解释并比较了两种类型的以太网:快速以太网与千兆以太网。快速以太网和千兆以太网之间的最大区别在于速度。
    的头像 发表于 05-06 16:35 4410次阅读
    如何快速分辨<b class='flag-5'>以太网</b>与千兆<b class='flag-5'>以太网</b>

    InfiniBand以太网标准的区别

    我们在购买光模块时,经常看到简介上描写“符合IEEE某以太网标准”以及“兼容InfiniBand xDR协议”等描述,那么,InfiniBand(IB)和以太网(Ethernet)身为
    的头像 发表于 10-26 09:58 766次阅读

    纵览:InfiniBand以太网标准之异同

    我们在购买光模块时,经常看到简介上描写“符合IEEE某以太网标准”以及“兼容InfiniBand xDR协议”等描述,那么,InfiniBand(IB)和以太网(Ethernet)身为
    的头像 发表于 10-26 14:41 899次阅读

    态路小课堂丨InfiniBand以太网:AI时代的网络差异

      近年来,随着人工智能技术的迅猛发展,以ChatGPT为代表的大型AI模型引起了广泛关注。然而,在这个AI时代,我们不得不重新审视传统的以太网和基于InfiniBand构建的网络之间的区别。尤其是
    的头像 发表于 11-29 18:16 860次阅读
    态路小课堂丨<b class='flag-5'>InfiniBand</b>与<b class='flag-5'>以太网</b>:AI时代的网络差异

    InfiniBand撼动不了以太网InfiniBand以太网能相媲美吗?

    您可能会认为,随着当今对人工智能系统的所有投资,InfiniBand 互连销售的繁荣将蚕食数据中心高端以太网互连的销售。不是这种情况。
    的头像 发表于 01-09 09:16 1042次阅读
    <b class='flag-5'>InfiniBand</b>撼动不了<b class='flag-5'>以太网</b>?<b class='flag-5'>InfiniBand</b>与<b class='flag-5'>以太网</b>能相媲美吗?

    用示波器分析以太网传输机制

    本文以双绞线以太网分析对象,以混合信号示波器为分析工具,深入探秘了两类常见的双绞线以太网的编码,且实地查看并验证了以太网在物理层的信号传输
    的头像 发表于 04-12 08:30 710次阅读
    用示波器<b class='flag-5'>分析</b><b class='flag-5'>以太网</b>传输机制

    深入探索InfiniBand网络、HDR与IB技术

    InfiniBand以太网之间的延迟对比可以分为两个主要组成部分。首先,在交换机层面上,以太网交换机在网络传输模型中作为第2层设备运行,通常采用MAC表查找寻址和存储转发机制(某些产
    发表于 04-19 11:01 1486次阅读
    深入探索<b class='flag-5'>InfiniBand</b>网络、HDR与IB技术