英伟达DPU开发者生态日益增长 第二届黑客松大赛打开更丰富应用场景

在日前举行的线上媒体会上，NVIDIA 网络市场总监孟庆和网络技术专家崔岩向媒体介绍了最新公布的project Monterey以及DPU开发者们非常关注的即将在10月下旬举行的黑客松竞赛的情况。以下是电子发烧友网的记者的独家报道。

图一：NVIDIA 网络市场总监 孟庆 （相片来源：英伟达）

DPU、AI发展迅猛，网络算力从CPU卸载到DPU

NVIDIA 网络市场总监孟庆在开场表示，在GTC之前举办的VMware Explore大会上，NVIDIA CEO黄仁勋先生和Vmware CEO一起发布了重要的网络相关产品和技术以及Monterey解决方案。DPU已经从英伟达的产品名称，变成了一个行业事实上的通用术语，“最近，在国内市场上发现有很多声音讨论DPU，讨论2019年我们提出的概念，大家逐渐接受，并且把它变成行业术语继续去使用。”

黄仁勋先生曾多次提到过CPU发展逐渐放缓，摩尔定律似乎已经失效。以前老的DIY从业者会感受到CPU包括至强、包括PC每一代性能、晶体管数量日新月异，上一代比下一代高一倍以上的性能。再看今天一代代新的CPU，不管是消费级还是企业级能高出30-40%已经算非常高的一个成绩了。多数情况下更新一代只高出百分之十几，这和制程、架构设计有关、也和应用有关。

反观数据中心，在火热的人工智能市场、云计算市场，行业把更多的算力卸载到GPU，卸载到相应的各种各样的协处理器上。最多的GPU用在像人工智能、推理训练，包括一些企业用它做更复杂的通用计算，这就产生了非常多的数据流量。而数据中心越来越演变成人工智能的中心，不管在后台的训练，在前台，大家打开购物软件搜索关键词，立刻告诉你这是什么，搜出相关的产品，所有的图形识别、所有的语义分析、推荐购物全部把数据导流到后台，在数据中心里推演。

“所以，我们认为数据中心正在演化为一个AI工厂，很多AI应用经常打开几秒就关了，这样每一次激活APP诞生多个容器，瞬间打开关闭，对数据中心和后台就是一个个突发的小峰值，如果大家上下班坐地铁会形成更大的峰值。这对数据中心来说都是前所未有的挑战，而在里面负责网络流量的，不管是交换机、智能网卡，他们也面临很大的负荷。”孟庆解释道。

“我们发现很多CPU的处理工作、拥塞都发生在了数据搬运、发生在流量分发、发生在云里、在AI的过程中。DPU（数据处理器）应运而生，它处理的就是数据，数据流量越大越需要DPU。最先部署DPU的可能是一些云服务商，包括BAT、京东、字节等等公司，海外有微软这种大型企业，他们面临大量的数据，他们需要用像DPU这样的东西帮助他们做预处理，帮助他们区分每一个用户做的信息隔离，还有一些安全问题，这就是DPU诞生的环境。”

从推出DPU到今天，可能到明年初NVIDIA BlueField-3 DPU将更多的被各个企业所应用，这里也和生态环境，软件和相关解决方案有关。

关于VMware Explore上的Project Monterey补充说明

在不久前的VMware Explore大会上，NVIDIA、VMware和戴尔联合发布Project Monterey的平台。英传达技术专家崔岩也对此作了补充和细节的说明。

图二：NVIDIA 网络技术专家 崔岩（相片来源：英伟达）

目前Project Monterey的三大应用，包括简化基础设施和工作负载管理、提高基础设施效率（性能和功能）、借助零信任模式加强基础设施安全。

Project Monterey是将vSphere 8企业工作负载平台，把它和NVIDIA BlueField DPU进行结合，在戴尔Power Edge服务器或VxRail超融合架构一体机上做运行，这样就可以有效的把NVIDIA BlueField DPU、GPU和NVIDIA Enterprise AI软件，针对vSphere 8做负载优化，在运行一些AI软件时，也可以把vSphere 8的一些功能，卸载、加速和隔离到NVIDIA BlueField DPU，这就是Project Monterey为未来的AI和现代应用程序工作负载重新构建一个现代的数据中心。既包括用于GPU的vSphere 8上的新功能来支持更强大的AI和机器学习的模型，更快的训练速度，同时也简化云和边缘环境上的管理。

下一代VMware 云基础架构 （图片来源：英伟达）

上面是比较完整的Project Monterey的架构。在VMware vSphere 8里有一个叫做Cloud Foundation云基础架构组件，这个组件和NVIDIA BlueField DPU进行比较好的结合，这张图上都是相当于跑在虚拟机上的这些应用，可以有不同的应用在系统平台上跑。



如果大家经常看DPU的介绍会看过这张图。这是NVIDIA BlueField DPU在vSphere体系中主要卸载的作用。在基础设施方面主要有四大架构：对基础设施管理、存储、安全、网络。在传统的服务器中，CPU要做这四个方面的工作，管理基础设施，整个基础设施管理、软件定义的安全、软件定义的存储、软件定义的网络都是由CPU承担工作负载的，所以它在上面分出相应计算资源放到基础设施的操作上来，所以它在虚拟机和容器支持的数量和能力上就会受到一定性能上的限制。下面也是采用英伟达的智能网卡和加速引擎提供网络上的服务。

当采用了NVIDIA BlueField DPU之后，CPU可以零介入基础设施的部分，上述讲的四大功能就卸载到了DPU。这里主要和vSphere配合的是有软件定义的安全、软件定义的网络和整体性能加速的部分，将给上层应用提供更好的基础设施的支撑。CPU资源会更好的支撑客户业务应用，有更多支持虚机和容器的能力，这是整个NVIDIA BlueField DPU的作用。


加速下一代防火墙。这张图强调除了很好的支持vSphere8之外，在NSX网络和安全的组件上也有很好的支撑，现在已经实现了NSX下一代防火墙功能，已经卸载到了DPU之上，后续的入侵检测、入侵防御等安全策略功能也会逐渐在DPU上实现，这将和VMware整个多云架构、企业应用有更加紧密的解决方案，能够让企业用户直接采用，享受NVIDIA BlueField DPU带来的性能上的回报。

关于Project Monterey主要的收益，总结下来主要体现在以下几点：通过 NVIDIA BlueField DPU 来节省主机 CPU 内核，等同于节省了 22% 的主机 CPU 内核消耗，使服务器性能效率得到了提升，可将释放出来的 CPU 内核来运行应用程序，并在三年的生命周期中提供 5倍的投资回报。

DPU好处这么多，除BAT等互联网巨头外，还适合什么样的企业去部署？

DPU对于BAT、头条这样的企业和开发者已经不是新鲜名词，但它具体能给企业带来什么样的好处，除互联网巨头外，还有哪些企业适合采用或将来有机会采用到DPU呢？成本是不是可以接受？开发者社群有没有培育起来？电子发烧友网记者在会议中向英伟达的专家提出来这个问题，英伟达网络技术专家崔岩对此作了回应和解答。

崔岩表示，在前面讲到的像BAT或字节这样的公司，在数据中心里面大批量采用DPU主要还是在做公有云相应的云服务上面，他们的规模相对比较大，去通过DPU提升他们数据中心基础设施上的性能，能够更好的释放CPU的资源，能够给客户提供更好的公有云服务。

其他互联网类型的公司，像现在看到的做元宇宙类的公司，或者提供相应应用平台的公司，有AI识别，不管是语音、视频或者图像的都会需要在数据中心中产生或者处理大量的数据。所以它就会需要DPU从基础设施的角度做卸载、隔离和加速。除了大规模的应用之外，其他类型的互联网公司也会在数据中心中去部署。再往其他行业里看，日后企业在多云环境下，其自身的私有云和混合云体系下也要部署和采用DPU，这是整个大势所趋。


关于2022年第二届英伟达DPU黑客松大赛

和上一届的安排一样，2022英伟达DPU黑客松大赛，仍然会有一个开幕式和训练营的活动，之后会进入到24小时的比赛环节，比赛中各个团队将投入到创新应用的开发之中，到第二天10月23日上午，是每个团队现场比赛的演示，他们将对自己做的课题做一个整体展示，后面会有中国的本地评委和国际评委对他们的比赛结果进行评分，在10月24日周一公布比赛结果。

组委会将邀请到本地5位评委，从基础架构、软件开发、行业应用角度来看待这些开发团队所做的项目和呈现的结果。整个结果最后会提交给国际评委，他们从创新角度和其他应用的角度做一个评分， 从五个方面，训练营参与度、项目完成度、项目创新价值及题目匹配度，最后是现场演示的效果。

对于这场DPU开发者们的年度大赛，崔岩认为NVIDIA DPU 中国黑客松最大的价值就是让开发者有机会深入了解 NVIDIA BlueField DPU 和 NVIDIA DOCA 软件框架，并构建创新的加速应用程序，实现 NVIDIA BlueField DPU 在人工智能、网络、存储和安全方面的独特功能，驱动 NVIDIA BlueField DPU 在各行业应用场景中的广泛应用。参与活动的团队和开发者不但可以学习到相关的知识和技能，还可以构建以 DPU 技术应用为核心的人际网络，并与 NVIDIA 专家进行交流，更有助于将创新想法变成现实。

谈到今年秋季的DPU黑客松对比上一届的亮点，他表示2022 秋季 NVIDIA DPU 中国黑客松以 RDMA 技术为核心题目，基于 InfiniBand 网络来实现对存储和人工智能应用的加速，同时将这种低延迟、高性能的IO 能力聚焦到一些行业应用场景中，比如金融的高频交易等。

每次参加英伟达AI和DPU相关的媒体活动，都让我们感受到了最前沿的技术的迅猛变化，电子发烧友网记者也认为，这个技术不会仅影响到头部互联网公司巨头，一定会对其他的网络公司，或者是使用到网络的公司开发者有帮助。对于DPU未来将会给网络技术带来的影响，您怎么看？
（全文完）