0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

从SmartNIC走向DPU,专用加速器的崛起

E4Life 来源:电子发烧友网 作者:周凯扬 2022-06-25 01:17 次阅读
在计算架构和负载变得愈发复杂和多样的情况下,处理器厂商纷纷开始了自己的造词之路。要想体现产品定位,又要让大家对其缩写印象深刻,所以PU成了最常见的后缀。现在的处理器家族中已经有了不少成员,除了常见的CPUGPU、APU之外,按照处理对象的不同,在人工智能深度学习的崛起下,NPU和TPU也纷纷出现。
DPU模糊的定义
不过这些已经定义明确的处理单元并不是我们今天的主角,而是找到了全新定义的xPU。什么是xPU,其实很难定义,这其中有DPU(数据处理单元)、IPU(基础设施处理单元)和FAC(功能加速卡),这些刚冒头的产品就是xPU,它们代表了从SmartNIC演化过来并超越其定位的新时代加速器硬件。除了SmartNIC以外,这些xPU虽然命名不同,但其实很多时候,它们是完全重合的,现在为了方便,很多时候也以DPU统称。
BlueField-3 DPU / 英伟达
这样说DPU的定义还是很模糊,我们就从其特点来看。SmartNIC往往需要主CPU来完成管理工作,DPU虽然往往也属于一个主系统中的部件,但却可以做到完全独立,可以部署到边缘、JBOF存储和网关上,并为它们提供网络接口和虚拟功能。它的另一项职责就是帮CPU减轻负担,节省服务器上有限的处理器核心。
因此,尽管DPU看起来和一些PCIe智能网卡或GPU差不多,但它本质上就是一个为数据流和数据包处理提供加速、卸载和本地服务的微型服务器,在服务器中提供一个独立单元的同时,又不乏协助其他单元的处理能力。
什么样的任务需要DPU?
至于为什么要用到DPU,这就不得不谈到日益增加的数据密集型任务了,短视频、实时金融交易的兴起,高带宽的数据流要求数据中心网络、存储、安全和AI/ML进行高效的处理。比如谷歌在数年前就提到,在他们的数据中心里,有三分之一的任务都是数据密集型的,这些都是交由底层基础设施完成的,而且这类任务的占比是在逐步增加的。因为CPU和GPU这样的通用计算单元并不擅长,所以专门针对这类任务优化的DPU就得出来担此大任了。其次就是企业数据中心和公共数据中心也想获得超大规模巨头厂商那样的效率,做到这一点就必须解聚那些昂贵的硬件资源,比如SSD、GPU等,DPU为数据中心的解聚提供了极高的效率,优化了拥有成本、占用面积和安全性。
DPU可以完成各个方面的卸载与加速,尤其是在网络、安全和存储这三大块。在网络端,DPU可以有效实现虚拟路由器,辅助数据包交换、定义交换规则等工作,减少延迟的同时还能够提高吞吐量;在安全上,DPU可以用于下一代防火墙(NGFW)的加速,完成数据包过滤、内容检测和报头检测与重写,将性能提高数倍以上;在存储上,DPU可以卸载高速NVMe/TCP,进一步提升存储性能。最关键的是,这三者都能有效地接管CPU控制面的负载,节省CPU本身的计算核心。

基于DPU的服务器存储方案 / Fungible
以上是DPU为服务器提供的加强,主要以PCIe加速卡的形式来提供,此外,还有单独的DPU存储产品。传统的CPU存储方案中,整个系统由DRAM、x86 CPU、SmartNIC、加速器和PCIe接口组成,而在未来的存储方案,比如高性能存储、计算型存储和软件定义网络应用的存储中,单片集成的方案更能满足要求,这就是与DRAM结合的DPU存储产品。这种方案不仅可以提升IOPS,也能进一步降低能耗。
正因如此,数据中心会用DPU来完成数据密集型任务,从而减少功耗、拥有成本和占用空间。此外,他们也会用到基于DPU的存储、GPU/TPU资源池和主机卡,来高效地完成高成本硬件资源的解聚。
DPU市场混战
在不少厂商对DPU的宣传中,往往都会提到这将是除了CPU和GPU之外的第三大硬件。大家可能觉得类似的承诺,好像一些AI处理器也有提到,但市面上还是GPU占据主导地位,DPU又会有何不同呢?事实证明,市场对DPU的信心很足,这我们从入局DPU的厂商就能看出。
云霄DPU / 云豹智能
如今制造DPU的企业分为三种,一是初创公司,比如:云豹智能、星云智联、中科驭数、云脉芯联、芯启源、大禹智芯、Fungible等;二是市面上一些已有的服务器巨头,比如AMD/Xilinx、英特尔、Marvel、英伟达;三是CSP(云服务供应商)厂商,比如亚马逊AWS、微软Azure、阿里云等等。后者更多是负责设计或者联合设计这些xPU,好专用于自己的云服务器。最终售卖这些DPU的除了DPU厂商外,还有基础设施的OEM和ODM,增值分销商和集成方案厂商,CSP厂商在售卖服务器的时候,自然也会以间接的方式来体现DPU的价值。
随着Mellanox被英伟达收购,Pensando被AMD收购,而Fungible的DPU主要针对存储加速和卸载,虽然没有被收购,但也收获了软银的主导的融资。国内的DPU厂商同样备受青睐,比如腾讯屡次投资的云豹智能,字节跳动投资的云脉芯联,美团和百度投资的星云智联等,这些投资方要么是CSP,要么拥有超大规模的数据中心,他们不像其他CSP大厂,硬件设计能力缺乏或有限,却也看到了DPU的前景。
DPU并不完美
即便大厂看好,但从现状来看,部署DPU对某些中小企业来说依然是双刃剑。固然,DPU可以卸载基础设施的任务,减轻其负担,让服务器的CPU空出来专注在应用本身,更高的效率、更低的拥有成本和更高的安全性也都随之而来,这些优点是几乎每个服务器都能享受到的。
但在部分服务器中,引入DPU不免增加了服务器的资本投入,而且相较于CPU、GPU这类硬件来说,它只能卸载和加速特定的负载,并不是一个通用加速单元。此外,部分服务器在增加DPU的情况下还是会导致功耗提升,在服务器、数据中心纷纷开始节能减排的当下,如何权衡各个组件的功耗无疑会是一个大问题。还有就是相关的开发,DPU的灵活性体现在可编程上,但这需要进行一定的编程能力,加上目前每家厂商都在单干,也没有一个标准的接口,所以在适配上绝对不轻松,这也是不少DPU选择Arm作为核心架构的原因,就是为了减少其编程的难度。
也正是因为以上这些理由,从市场渗透率上来看,DPU主要是还是大规模的CSP厂商用的更多一点,加上托管应用的增加,这一块未来也会驱动DPU产品的销售。对于自研DPU的CSP来说,他们肯定会继续加大这方面的投入,进一步降低成本,而对于第三方厂商来说,英伟达、AMD和英特尔这些服务器CPU、GPU厂商无疑会更有优势,因为他们提供竞争力更强的集成方案。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 服务器
    +关注

    关注

    12

    文章

    9034

    浏览量

    85210
  • DPU
    DPU
    +关注

    关注

    0

    文章

    354

    浏览量

    24136
  • 英伟达
    +关注

    关注

    22

    文章

    3749

    浏览量

    90864
收藏 人收藏

    评论

    相关推荐

    版本控制到全流程支持:揭秘Helix Core如何成为您的创意加速器

    加速器
    龙智DevSecOps
    发布于 :2024年11月26日 13:42:47

    什么是神经网络加速器?它有哪些特点?

    神经网络加速器是一种专门设计用于提高神经网络计算效率的硬件设备。随着深度学习技术的快速发展和广泛应用,神经网络模型的复杂度和计算量急剧增加,对计算性能的要求也越来越高。传统的通用处理(CPU
    的头像 发表于 07-11 10:40 431次阅读

    “白地板”方案,智算中心加速器

    明德源能白地板方案,智算中心加速器
    的头像 发表于 06-21 11:54 749次阅读

    中科驭数DPU技术开放日秀“肌肉”:云原生网络、RDMA、安全加速、低延时网络等方案组团亮相

    DPU技术开放日既是对DPU技术应用的典型方案展示,也是DPU技术在重要细分场景走向成熟的标志。
    的头像 发表于 04-01 11:48 756次阅读
    中科驭数<b class='flag-5'>DPU</b>技术开放日秀“肌肉”:云原生网络、RDMA、安全<b class='flag-5'>加速</b>、低延时网络等方案组团亮相

    家居智能化,推动AI加速器的发展

    电子发烧友网报道(文/黄山明)AI加速芯片,也称为人工智能加速器(AI Accelerator),是一种专为执行机器学习和深度学习任务而设计的ASIC或定制化处理。在智能家居中,AI加速
    的头像 发表于 02-23 00:18 4546次阅读

    回旋加速器原理 回旋加速器的影响因素

    回旋加速器(Cyclotron)是一种用于加速带电粒子的可再生粒子加速器。它的工作原理基于带电粒子在恒定强磁场中的运动。本文将详细介绍回旋加速器的原理以及影响因素。 一、回旋
    的头像 发表于 01-30 10:02 3622次阅读

    回旋加速器中粒子的最大动能与什么有关

    回旋加速器是一种用于加速粒子的装置,通过不断变化的磁场和电场来不断加速粒子,使其达到极高的速度和能量。粒子的最大动能取决于几个关键因素。 首先,回旋加速器的设计和性能对粒子的最大动能有
    的头像 发表于 01-18 10:42 2980次阅读

    Wakefield激光加速器 - 能量里程碑

    由The University of Texas at Austin物理学副教授比约恩·“曼努埃尔”·赫格利希(Bjorn “Manuel” Hegelich)领导的国际研究小组最近展示了一种长度不到20米的小型粒子加速器,该加速器产生的电子束能量为100亿电子伏特(10
    的头像 发表于 01-14 09:38 1015次阅读
    Wakefield激光<b class='flag-5'>加速器</b> - 能量里程碑

    《数据处理DPU编程入门》DPU计算入门书籍测评

    ,国内国外两股部队都在朝着超大规模计算部署。而专用处理器在大规模处理上带来的经济和效率优势是通用计算不可比拟的。DPU在云计算中高性能,高功耗的特点将会完美符合机房设备的特征。也称为需求的核心。作为未来算力基座的一份子,势必成为高端工程师的必备技能。
    发表于 12-24 10:54

    《数据处理DPU编程入门》读书笔记

    首先感谢电子发烧友论坛提供的试读机会。 第一周先阅读了DPU的技术发展背景,了解到DPU是结合了高性能及软件可编程的多核CPU、高性能网络接口,以及各种灵活和可编程的加速引擎。DPU
    发表于 12-21 10:47

    粒子加速器加速原理是啥呢?

    粒子加速器加速原理是啥呢? 粒子加速器是一种重要的实验设备,用于研究粒子物理学、核物理学等领域。其主要原理是通过电场和磁场的作用,对带电粒子进行加速,在高速运动过程中使其获得较大的动
    的头像 发表于 12-18 13:52 1991次阅读

    《数据处理DPU编程入门》+初步熟悉这本书的结构和主要内容

    之一。随着人们对云计算和大数据处理需求的增加,数据中心的计算负载也不断增加。传统的中央处理(CPU)在处理这些工作负载时可能会遇到瓶颈,难以提供足够的性能和效率。DPU通过提供专门的硬件加速,可以
    发表于 12-08 18:03

    在CCES环境下如何使用21489的IIR加速器

    在VDSP++的环境下程序已经实现,但是到了CCES下,把中断初始化函数修改了,还是无法正确配置中断,直接返回IIR的中断初始化失败,请问CCES下怎么使用IIR加速器
    发表于 11-30 08:20

    21489的IIR加速器滤波参数设置如何对应加速器的滤波参数?

    目前在用21489内部的IIR加速器去做一个低通滤波,在例程的基础上修改参数。通过平板的fda 工具工具去设计参数,但是设计出来的参数不知道如何对应加速器的滤波参数,手册里也看得不是很明白。 设计的参数如下: 请问
    发表于 11-30 08:11

    使用ADSP-21489的fir加速器时,存在很大的噪音如何解决?

    您好!当我使用ADSP-21489的fir加速器时,存在很大的噪音,未知如何解决,希望这里有高人帮我解决。 附件上有工程,该工程参考iir加速器使用例子编写。
    发表于 11-30 07:49