0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

借助 NVIDIA 融合加速器开发套件加速数据中心 AI

NVIDIA英伟达 来源:NVIDIA 英伟达 作者:NVIDIA 英伟达 2021-11-16 16:12 次阅读

现代数据中心变得越来越难以管理。应用程序和 PB 级日志数据之间有数十亿条可能的连接路径。静态规则不足以适应动态微服务的安全策略,而且人工已经无法应对数量庞大的日志数据的分析。

AI 是通往未来安全和自主管理式数据中心的唯一出路。

NVIDIA 融合加速器在业界率先推出 AI 增强型 DPU。它将 GPU 的强大计算能力与 DPU 的网络加速和安全优势相结合,为 AI 增强型数据中心管理创造了统一平台。融合加速器可将 AI 生成的规则应用于数据中心网络中的每个数据包,为实现实时安全和管理创造新的可能性。图像展示了将 BlueField-2 DPU 和 Ampere GPU 相结合的 NVIDIA 新型融合加速器。

在 NVIDIA GTC 大会上,我们推出了两款新型融合加速器。A100X 在单一模组中融合了 A100 Tensor Core GPU 和 NVIDIA BlueField-2 DPU。A30X 则融合了 A30 Tensor Core GPU 和相同的 BlueField-2 DPU。融合卡具有独特的能力,除了 BlueField-2 的卸载、隔离和加速网络功能,进一步拓展到 AI 推理和训练功能。

两款加速器都包含一个集成的 PCIe 交换机实现DPU 和 GPU 连接。集成交换机能够消除对主机资源的争用,实现线速 GPUDirect RDMA 性能。集成交换机还通过隔离 GPU 和网卡之间移动的数据来提高安全性。

AI 增强型 DPU

融合加速器支持两种运行模式:

标准模式 – BlueField-2 DPU 和 GPU 分别独立运行。

BlueField-X模式 – PCI 交换机进行了重新配置,GPU 将专用于 DPU,并且对于主机系统不可见。

在 BlueField-X 模式下,只有 DPU 上运行的操作系统可见到GPU。BlueField-X 模式在业界首创了一种新型加速器类型:GPU 加速的 DPU。图像展示了在 BlueField-X 模式下,主机服务器中的 CPU 连接到融合加速器。融合加速器的 PCIe 交换机连接到 CPU 和 DPU。而 GPU 仅通过 PCIe 交换机与 DPU连接。

在 BlueField-X 模式下,GPU 可以对流经 DPU 的数据运行 AI 模型,成为 “bump in the wire”。保障安全同时,无性能损耗。AI 模型无需消耗主机资源,实现完全加速。

BlueField-X 为网络安全、数据中心管理和 I/O 加速解锁新颖使用场景。例如,Morpheus 网络安全框架使用机器学习对以往无法识别的安全威胁进行有效处理。Morpheus 通过 DPU 从数据中心的各个服务器获取遥测数据,并将其发送到配备 GPU 的服务器进行分析。

有了 BlueField-X,AI 模型可以在每个服务器的融合加速器上直接本地运行。这使 Morpheus 能够更快地分析更多数据,同时消除代价很高的数据移动,并缩小恶意攻击面。由 BlueField-X 加速的 Morpheus 使用案例包括恶意软件检测、数据泄漏预防和动态防火墙规则创建等。

Morpheus 示例仅仅是 BlueField-X 实现加速的一种使用场景。我们的客户经常与我们分享一些我们尚未考虑到的新想法。为了对 AI 增强的网络进行更多创造性的探索,我们现正推出 NVIDIA 融合加速器开发套件。

结合此开发套件,我们为有意构建新一代加速 AI 网络应用的特定客户和合作伙伴提供 A30X 加速器的抢先体验计划。在边缘计算或数据中心管理中探索 BlueField-X 的新应用场景。以下例子为您做参考:

透明视频预处理 – Bump-in-the-wire 视频预处理(解密、交错、格式转换等),以提高 IVA 吞吐量和摄像头密度。

小基站 RU 解决方案 – RAN 信号处理聚合加速器,以增加商业 gNodeB 服务器上的用户密度和吞吐量。

计算存储 – Bump-in-the-wire 存储加密、索引和哈希,为长期存储主机数据准备处理卸载昂贵的 CPU 资源。

作弊检测 – 检测流式游戏服务中的恶意游戏/作弊

开始使用 NVIDIA 融合加速器开发套件

NVIDIA 融合加速器开发套件包含有结合 CUDA 和 NVIDIA DOCA 的示例应用程序,以及帮助安装、配置新型融合加速器的文档。最重要的是,可提供 A30X 及应用支持来换取用户的宝贵反馈。

要开始使用,只需在 NVIDIA 融合加速器开发套件网页上完成注册。获得批准后,一旦硬件准备好发货,将由工作人员主动联系。之后就可以开启新一代加速应用之旅了。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 加速器
    +关注

    关注

    2

    文章

    795

    浏览量

    37744
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4700

    浏览量

    128679
  • 主机
    +关注

    关注

    0

    文章

    985

    浏览量

    35056
  • 数据中心
    +关注

    关注

    16

    文章

    4675

    浏览量

    71948
  • DPU
    DPU
    +关注

    关注

    0

    文章

    354

    浏览量

    24125

原文标题:GTC21 | 借助 NVIDIA 融合加速器开发套件加速数据中心 AI

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NVIDIA加速AI在日本各行各业的应用

    企业借助基于 NVIDIA AI Enterprise 与 Omniverse 工业 AI 构建的创新中心和服务
    的头像 发表于 11-19 15:45 139次阅读

    日本企业借助NVIDIA产品加速AI创新

    日本领先企业和大学正在使用 NVIDIA NeMo、NIM 微服务和 NVIDIA Isaac 加速 AI 创新。
    的头像 发表于 11-19 14:34 159次阅读

    【xG24 Matter开发套件试用体验】深入了解Silicon Labs xG24 Matter开发套件

    -使用Silicon Labs xG24开发套件支持智能加速器以构建声音感知门锁”(Creating a Smarthome Device That Is Truly Smart - Building
    发表于 08-27 20:23

    适用于数据中心应用中的硬件加速器的直流/直流转换解决方案

    电子发烧友网站提供《适用于数据中心应用中的硬件加速器的直流/直流转换解决方案.pdf》资料免费下载
    发表于 08-26 09:38 0次下载
    适用于<b class='flag-5'>数据中心</b>应用中的硬件<b class='flag-5'>加速器</b>的直流/直流转换<b class='flag-5'>器</b>解决方案

    借助NVIDIA NIM加速AI应用部署

    大语言模型(LLM)在企业组织中的应用日益广泛,许多企业都将其整合到 AI 应用中。虽然从基础模型着手十分高效,但需要花费一定的精力才能将它们整合到生产就绪型环境中。NVIDIA NIM简化了这一过程,使企业能够在数据中心、云、
    的头像 发表于 08-23 16:38 355次阅读
    <b class='flag-5'>借助</b><b class='flag-5'>NVIDIA</b> NIM<b class='flag-5'>加速</b><b class='flag-5'>AI</b>应用部署

    【xG24 Matter开发套件试用体验】初识xG24 Matter开发套件

    借助高性能 2.4 GHz RF、低电流消耗、人工智能 (AI)/机器学习 (ML) 硬件加速器和 Secure Vault 等关键功能,物联网设备制造商可以打造智能、强大、节能且能够避免远程
    发表于 07-11 23:31

    “白地板”方案,智算中心加速器

    明德源能白地板方案,智算中心加速器
    的头像 发表于 06-21 11:54 735次阅读

    八大科技巨头携手推进UALink,加速数据中心AI互联

    近日,英特尔、Google、微软、Meta等八家科技巨头宣布共同成立超加速器链接(UALink)推广小组,致力于推动数据中心AI加速器芯片的连接组件发展。UALink旨在优化
    的头像 发表于 05-31 10:59 784次阅读

    美国限制向中东AI加速器出口,审查国家安全

    AI加速器能协助数据中心处理大量人工智能聊天机器人和其他工具的开发信息。如今,它们已然成为构建AI基础设施的企业和政府的必需品。
    的头像 发表于 05-31 09:20 531次阅读

    借助NVIDIA DOCA 2.7增强AI数据中心NVIDIA Spectrum-X

    NVIDIA DOCA 加速框架为开发者提供了丰富的库、驱动和 API,以便为 NVIDIA BlueField DPU 和 SuperNIC 创建高性能的应用程序和服务。
    的头像 发表于 05-29 09:22 459次阅读

    联发科发布天玑AI开发套件,赋能终端生成式AI应用

    联发科近日推出了全新的天玑AI开发套件,旨在为合作伙伴打造一站式解决方案,以加速终端生成式AI应用的开发。这款
    的头像 发表于 05-10 11:19 552次阅读

    家居智能化,推动AI加速器的发展

    提高了系统的运算能力和数据处理能力,还为用户带来了更加智能化、个性化的生活体验。   AI 加速器的发展   在人工智能和机器学习任务变得日益复杂和密集之前,传统的CPU和GPU已经足以处理这些任务。然而,随着深度学习模型的出现
    的头像 发表于 02-23 00:18 4534次阅读

    回旋加速器原理 回旋加速器的影响因素

    回旋加速器的核心部分是一个半径为R的磁场区域和一对位于磁场中心的D形电极。磁场区域由一个或多个磁铁和调节磁场强度的电流源组成。当加速器通电时,在磁场中心将产生一个垂直于电极的磁场。
    的头像 发表于 01-30 10:02 3559次阅读

    2024年大型数据中心芯片盘点

    Nvidia 计划在 2024 年推出大量新的加速器、GPU 架构和网络套件。英特尔将与新的 Habana Gaudi AI 芯片一起推出可以说是多年来最引人注目的 Xeon。
    发表于 01-11 10:27 1119次阅读
    2024年大型<b class='flag-5'>数据中心</b>芯片盘点

    粒子加速器加速原理是啥呢?

    粒子加速器加速原理是啥呢? 粒子加速器是一种重要的实验设备,用于研究粒子物理学、核物理学等领域。其主要原理是通过电场和磁场的作用,对带电粒子进行加速,在高速运动过程中使其获得较大的动
    的头像 发表于 12-18 13:52 1975次阅读