0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

生成式AI带火的不止GPU,网络芯片迎来下一轮大战

E4Life 来源:电子发烧友网 作者:周凯扬 2023-06-30 01:08 次阅读

电子发烧友网报道(文/周凯扬)在生成式AI的热度之下,横向扩展AI训练与推理性能成了每个云服务厂商、数据中心以及互联网厂商追求的目标,这点从前段时间的GPU抢购潮就能看出来,庞大的GPU基数在当下几乎可以和强大的AI算力画上等号。

然而,真正将这些GPU连接起来的,还是靠以太网交换机、路由这类网络芯片。随着数据中心解耦趋势愈发明显,相继认识到这一点的网络芯片厂商都开始新一轮的军备竞赛,诸如博通、美满和思科等厂商都已经加快了新品推出的节奏。

博通Tomahawk

作为在数据中心网络芯片耕耘了12年以上的博通,从640G的Trident系列到25.6T的Tomahawk4系列,已经完成了多次设计迭代,显著提高了网络芯片的带宽。今年三月,博通终于发布了Tomahawk 5系列网络芯片,也是市面上首个量产51.2Tbps交换带宽的芯片。

新的Tomahawk 5系列无疑是在暴涨的AI需求下诞生的,我们从其设计中也能看出。由于做到了更高的端口密度,Tomahawk 5可以实现256高性能AI/ML加速器之间的单跳连接,且每个都能做到200Gbps的网络带宽。这对于数据中心的AI训练和推理的负载来说,无疑提高了吞吐效率,尤其是日益流行且愈发复杂的生成式AI模型。

wKgZomSdWGCACur4AAFkjhy-LfI022.jpg
Trident和Tomahawk芯片路线图 / 博通


在物理设计上,Tomahawk 5采用了如今已经趋近成熟的共封装光学(CPO)方案,相较过去的光模块在前端面板插拔的方案,CPO选择将网络交换芯片和光模块封装在一起。这一封装方案结合5nm的芯片工艺,将功耗进一步降低了30%。

另外值得一提的是,博通的第三条网络芯片产品线,Jericho,也在近期迎来了新品Jericho3-AI。相比以高带宽为重心的Tomahawk产品线,和主打更多功能性的Trident产品线,Jericho往往以较低带宽、深度缓存和高可编程性著称。

而Jericho3-AI虽然确实是28.8T的以太网交换机芯片,却针对AI训练负载做了特殊的优化,更高的端口密度使得Jericho3-AI可以在单个集群中连接32000个GPU,并做到800Gbps的连接带宽表现。博通甚至将其与英伟达自己的InfiniBand方案对比,Jericho3-AI在完成时间上有着10%左右的优势。这也是Jericho系列独有的优势,实现标准以太网芯片无法实现却在AI或HPC应用上被看重的灵活功能。

思科Silicon One

其实早在2019年思科首次推出Silicon One网络芯片时,博通CEO霍克·谭就表示:“思科在该市场的参与,恰巧验证了我们推进的这一行业趋势,也就是数据中心的解耦。我们很高兴自己再次押对了,也欢迎更多的竞争。”要知道,之前的思科可是博通的优质客户之一,如今身份的转变已经对网络芯片的市场格局产生了不小的影响。

wKgaomSdWGqAN4RAAAF6las7nPg625.jpg
Silicon One芯片路线图 / 思科


在第一代自研芯片Silicon One发布三年半之后,思科在近日终于推出了该产品线的第四代产品,以太网交换机芯片G200和G202。其中G200专注于统一架构和基于以太网的AI/ML应用部署,这个采用 5nm工艺打造的芯片,基于512个112Gbps SerDes打造,同样可以做到51.2Tbps的交换带宽。

而G202则是针对想要继续使用50G SerDes的客户打造的,同样基于5nm的工艺,G202采用了512x56Gbps SerDes的配置,其特性与G200完全一致,只不过交换性能只有G200的一半。

根据思科的说法,由于单设备512个100GE以太网端口的超高端口密度,客户可以在一个双层网络上构建由32000个400G GPU组成的AI/ML集群。借助G200打造这样一个庞大的网络,却依然可以省去50%的光学组件、40%左右的交换机,极大减少这类集群的碳足迹,每年最高可以省下900万kWh的耗能。据了解,G200已经送样给六大云服务商中的五家进行测试了。

美满Teralynx

在收购由几位前博通高管打造的芯片初创公司Innovium后,美满也开始了他们的网络芯片逆袭。同样是在今年3月,美满也推出了自己的51.2Tbps交换机芯片,Teralynx 10。相比其他两家,美满为Teralynx 10选择的定位是超低延迟的可编程交换机芯片,这也是此前Innovium的设计目标。

不过直至目前为止,美满并没有将Teralynx并入自己的Prestera产品线内,看来Prestera应该还是主打企业与边缘数据中心市场,而面向云端数据中心的Teralynx系列继续沿用原来的产品线名称。

除了用到业界顶级的112G SerDes IP和先进的工艺实现低功耗的系统设计以外,美满电子宣称Teralynx 10可以提供1.7倍的延迟优势,这对于生成式AI这种看重完成时间和网络传输时间的应用来说至关重要。

wKgaomSdWHOATyvjAACvKFyVHqE636.png
企业与数据中心的交换芯片方案 / 美满


还有一点与其他两家不同的是,Teralynx 10可以驱动128个400Gbps端口、64个800Gbps端口和32个1.6Tbps端口,1.6Tbps的端口驱动能力可以说是放眼未来了,这也意味着Teralynx 10可以直接在1RU大小的机柜中实现51.2Tbps的性能。

为此,美满也推出了Nova这一业界首个做到1.6Tbps的PAM4电光平台,Nova基于美满的200Gbps/lambda光DSP打造,足以为1.6Tbps的可插拔光模块提供支持。由于DSP的带宽翻倍,基于Nova的光模块不仅减少了所需激光和相关光学组件的数量,相较其他的方案来说稳定性也同样加倍。虽然800Gbps的光模块仍在普及中,但要想在下一代数据中心交换网络中抢占先机,1.6Tbps的光模块也该尽快提上日程了。

写在最后

之所以这些厂商都能这么快推出下一代高性能网络芯片,其实还是靠EDA/IP和封装技术打好了第一波基础,厂商们先一步推出了完善的以太网IP和共封装光学方案。不过这也意味着过去数据中心交换硬件很可能迎来新一波的换代,从目前来看应该是只有大型云服务厂商有这个资本进行大规模替换。

但除了这些网络芯片公司之间的斗争之外,他们也需要提防英伟达这样既有GPU业务又有网络芯片业务的厂商。以上提到的这三家在推出的新品上都有剑指英伟达InfiniBand的意思,毕竟后者从一开始就是为了HPC和AI打造的通信标准,而它们则是刚从Web Scaling转向AI Scaling,从外部网络交换转为内部网络交换,仍需要不断提升产品性能才能在这个竞争激烈的市场上存活下去。

不过这也可以看出AI带来的热度,因为无论是从软件还是从硬件上,产品的迭代速度都有了成倍提升。800GbE时代的到来,也导致所有想在服务器市场创造增长的厂商纷纷趋之若鹜,好在这样的趋势恰恰是服务器市场急需的一剂强心剂。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4729

    浏览量

    128902
  • AI
    AI
    +关注

    关注

    87

    文章

    30763

    浏览量

    268914
  • 生成式AI
    +关注

    关注

    0

    文章

    502

    浏览量

    471
收藏 人收藏

    评论

    相关推荐

    生成AI飞,三大存储产品齐涨价

      电子发烧友网报道(文/黄晶晶)生成AI对存储芯片拉动最显著的莫过于HBM,由于GPU搭配HBM可用于
    的头像 发表于 06-16 09:05 2968次阅读

    Lunar Lake大战Strix Point!AMD、英特尔掀起新一轮AI PC芯片“大跃进”

    电子发烧友网报道(文/梁浩斌)最近在COMPUTEX 2024上,可以说AI PC掀起了新一轮的PC芯片“大跃进”。   AMD、Intel接连推出全新的移动端AI PC
    的头像 发表于 06-06 09:15 4057次阅读

    雷诺下一代车载语音助手Reno将引入生成AI技术

    11月1日,赛思软件技术公司与雷诺公司宣布深化合作,旨在将生成AI技术和类人交互功能融入雷诺下一代多模态虚拟车载助手Reno中。
    的头像 发表于 11-01 16:39 1088次阅读

    荣耀迎来一轮投资,中国电信、中金资本等加入

    据最新报道,荣耀在其股权改革进程中迎来了新一轮投资者的加入,包括中国电信、中金资本旗下基金、基石资本旗下基金、特发基金,以及新成立的代理商投资平台金石星耀等。   荣耀方面表示,此次融资坚持公开透明的原则,旨在进步推动股
    的头像 发表于 10-31 13:44 567次阅读

    生成AI工具作用

    生成AI工具是指那些能够自动生成文本、图像、音频、视频等多种类型数据的人工智能技术。在此,petacloud.ai小编为您整理
    的头像 发表于 10-28 11:19 227次阅读

    生成AI与神经网络模型的区别和联系

    生成AI与神经网络模型是现代人工智能领域的两个核心概念,它们在推动技术进步和应用拓展方面发挥着至关重要的作用。本文将详细探讨生成
    的头像 发表于 07-02 15:03 717次阅读

    亚马逊云科技携手SAP通过生成AI解锁创新潜力

    科技与SAP宣布扩大战略合作,旨在革新现代化的云ERP体验,并利用生成AI为企业带来全新功能与效率提升。双方将共同努力,简化客户在亚马逊云科技上采用RISE with SAP解决方案
    的头像 发表于 06-07 10:53 337次阅读

    原来这才是【生成AI】!!

    随着ChatGPT、文心言等AI产品的火爆,生成AI已经成为了大家茶余饭后热议的话题。可是,为什么要在
    的头像 发表于 06-05 08:04 290次阅读
    原来这才是【<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>】!!

    思与NVIDIA合作,利用生成AI打造下一代车内体验

    AI 驱动的移动出行创新企业与 NVIDIA 合作,打造下一代车内体验。
    的头像 发表于 05-23 10:12 1238次阅读

    丰田、日产和本田将合作开发下一代汽车的AI芯片

    丰田、日产和本田等日本主要汽车制造商确实计划联手开发下一代汽车的软件,包括在生成人工智能(AI)和半导体(芯片)等领域进行合作。
    的头像 发表于 05-20 10:25 970次阅读

    生成AI如何重塑通信业?爱立信最新尝试给出了答案

    从ChatGPT爆到Sora登场,生成AI已展现出令人惊艳的生产力和创造力,并正加速走进人们的日常生活和各行各业中,有望掀起新一轮产业变
    的头像 发表于 05-13 17:10 334次阅读
    <b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>如何重塑通信业?爱立信最新尝试给出了答案

    NPU是什么?为何它是开启终端侧生成AI的关键?

    生成AI变革已经到来。随着生成AI用例需求在有着多样化要求和计算需求的垂直领域不断增加,我们
    的头像 发表于 03-07 11:25 2083次阅读
    NPU是什么?为何它是开启终端侧<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>的关键?

    高通NPU和异构计算提升生成AI性能 

    异构计算的重要性不可忽视。根据生成AI的独特需求和计算负担,需要配备不同的处理器,如专注于AI工作负载的定制设计的NPU、CPU和GPU
    的头像 发表于 03-06 14:15 785次阅读

    生成 AI (3/4):如何缓解人才短缺,促进芯片设计多元化?

    在去年于美国硅谷举办的CadenceLIVESiliconValley2023用户大会上,生成AI小组的讨论备受关注。前几篇文章里,我们提到了生成
    的头像 发表于 01-13 08:12 518次阅读
    <b class='flag-5'>生成</b><b class='flag-5'>式</b> <b class='flag-5'>AI</b> (3/4):如何缓解人才短缺,促进<b class='flag-5'>芯片</b>设计多元化?

    安霸发布全新N1系列生成AI芯片

    安霸在CES 2024上发布了全新的N1系列生成AI芯片,这是款专门为前端设备设计的芯片,支
    的头像 发表于 01-09 15:32 1365次阅读