0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA Fleet新功能使部署Edge AI变得简单

星星科技指导员 来源:NVIDIA 作者:Troy Estes 2022-04-11 15:07 次阅读

NVIDIA Fleet Command是一种云服务,可跨分布式边缘基础设施安全部署、管理和扩展 AI 应用程序。自 7 月舰队司令部启动以来,已经实现了几个重要里程碑,并在 NVIDIA GTC 上展示。

Fleet 命令增加了远程控制台 2.0 、 MIG 支持、加密文件存储等功能

舰队司令部不断增加新功能。除了使平台更加健壮和安全外,还结合了来自客户和合作伙伴的反馈,使组织更容易在边缘开始使用人工智能

今天提供的新功能包括:

多实例 GPU ( MIG )支持:允许将 GPU 安全地划分为单独的 GPU 实例。

远程控制台 2.0 :无需额外端口,启动速度更快,以提供及时安全的远程访问。

安全 NFS 支持:允许使用现有的加密存储解决方案。

高级网络:支持代理、无 DHCP 的网络对 IP 地址更改的弹性以及云端的相应可观察性。

有了 NVIDIA LaunchPad ,用户完全可以免费体验 Fleet Command

在今年的 GTC 会议上,我们宣布了 NVIDIA LaunchPad 在全球范围内的可用性。

NVIDIA LaunchPad是一个让企业和组织能够立即、短期访问运行在加速计算上的 NVIDIA AI 的计划,以加速现代数据驱动应用程序的开发和部署。它允许您在可以购买和部署的同一个完整堆栈上快速测试和原型化整个人工智能工作流。

组织可以使用 LaunchPad 获得对舰队司令部的完全访问权,以体验免费部署和扩展 AI 。用户可以访问优化模型和应用程序的目录,以探索 AI 如何为他们的组织带来好处。他们还可以了解一种交钥匙云服务,用于在真实服务器上部署和监控真实应用程序,以及用于无缝调配和运行应用程序的加速边缘计算基础设施。

图 1 。 NVIDIA LaunchPad 允许用户试用 AI 开发的每个阶段,从数据准备到部署。

有兴趣开始使用 NVIDIA LaunchPad 上的 Fleet Command 吗?申请立即访问。

Mavenir 基于 NVIDIA AI-On-5G 平台发布 MaveEdge AI

英伟达 AI ON 5G 平台可用于构建连接智能工业 4 解决方案。该平台基于 NVIDIA Aeror 5G ,由舰队司令部管理,通过使企业能够在同一计算基础设施上部署 AI 和 5G ,在边缘提供互联智能。这种方法提供了灵活、高效、可靠和安全的智能边缘网络,重新定义了业务流程,并在边缘为 AI 提供了新的用例。

MavEdEi 是基于英伟达 AI ON 5G 平台的第一个 AI-ON 5G 解决方案。该解决方案通过 5G 无线电将 5G 连接到 AI-on-5G 硬件和软件,为制造业、采矿业、零售业和医疗保健行业的用例提供视频分析。

MAVedge AI 为 NVIDIA 的 AI-on-5G 平台增加了不断增长的生态系统。 NVIDIA 还与戴尔、富士康和软银等合作伙伴合作,加快在本地或云中构建 AI-on-5G 。

引入英伟达 A2 张量核 GPU 用于边缘推理

今年在 GTC 上发布的还有NVIDIA A2,用于入门级和边缘服务器。

NVIDIA A2 张量核心 GPU 是优化入门级推理,智能视频分析,和英伟达 AI 部署。这对于受空间和散热要求限制的边缘服务器尤其有用,例如 5G 边缘和工业环境。 A2 提供了在低功耗外壳中运行的轻巧外形,从 60W 到 40W 的 TDP ,非常适合任何边缘服务器。

A2的多功能性、紧凑的尺寸和低功耗超过了大规模边缘部署的要求,可立即升级现有入门级 CPU 服务器以处理推理。与 CPU 相比,A2 GPU 加速的服务器提供了高达37倍的推理性能,并且比以前的 CPU 部署效率高1.3倍 GPU 各代产品均以入门级价位销售。

A2 在领先的 OEM NVIDIA 认证系统中可用™, 它跨边缘、数据中心和云提供突破性的推理性能,确保启用 AI 的应用程序部署时使用更少的服务器、更少的电源和更低的成本。作为我们 NVIDIA 认证计划的一部分,基于 NVIDIA A2 GPU 的系统与 Fleet Command 兼容。

NVIDIA 认证系统的两个新类别

NVIDIA 认证系统现在包括边缘系统类别。这些系统经过认证,可提供在传统数据中心之外运行加速应用程序的能力,包括:

推理的优良性能:已经显示了英伟达 A30 系统在一系列推理工作量上提供领先的性能,正如 2021 年 9 月 MLPRF 基准测试结果所证明的。 A30 多实例 GPU ( MIG )支持还允许最多四个工作负载同时运行,并保证其自身的服务质量,从而最大限度地提高计算利用率和效率。

低功耗:新的 A2 GPU 将很快纳入 NVIDIA 认证系统计划。它提供入门级、低功耗、紧凑型加速,用于边缘 AI 和推理,并提供英伟达企业 GPU 组合的最小足迹。

安全性:对 Trusted Platform Module 功能的验证可实现安全引导、磁盘加密和数字签名应用程序的使用。

这是两类经认证的边缘系统。企业边缘系统旨在部署在受控环境中,如零售店。 Industrial edge 系统专为坚固的部署而设计,如高温环境。

Fleet Command 与所有经 NVIDIA 认证的系统兼容,包括 Enterprise Edge 和 Industrial Edge 系统。了解有关NVIDIA-Certified Systems的更多信息

新的合作伙伴意味着舰队司令部有了新的应用程序

数十个新合作伙伴已添加到我们的生态系统中,为企业提供数百种应用程序选择,以便使用 Fleet Command 在边缘部署。通过将我们的应用程序合作伙伴与构建边缘解决方案的客户联系起来,我们加快了人工智能的时间,并简化了可能需要数周或数月时间的流程。

一些合作伙伴包括Data Monsters,该公司正在使用计算机视觉进行工业检查和制造。Ironyun正在利用 AI 支持的视频分析进行安全、访问控制以及安全和搜索。Kinetic Vision正在为消费品包装企业的 AI 支持的计算机视觉构建端到端解决方案。

舰队司令部继续与客户和合作伙伴保持密切联系。要保持最新状态,请务必检查与舰队指挥和边缘计算相关的所有 GTC 会话。

关于作者

Troy Estes 是 NVIDIA Edge 和企业计算解决方案的产品营销经理。在加入 Edge & Enterprise 业务部门之前,特洛伊曾在自主汽车业务部门和 NVIDIA 电网产品集团从事营销活动和支持产品 GTM 。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    5026

    浏览量

    103279
  • 计算机
    +关注

    关注

    19

    文章

    7520

    浏览量

    88249
  • 应用程序
    +关注

    关注

    37

    文章

    3283

    浏览量

    57765
收藏 人收藏

    评论

    相关推荐

    NVIDIA与合作伙伴推出代理式AI Blueprint

    开发者现在可以使用全新 NVIDIA AI Blueprint 构建和部署具备推理、规划和行动能力的定制化 AI 智能体。这些蓝图囊括了 NVIDI
    的头像 发表于 01-09 11:08 220次阅读

    解析NVIDIA JetPack 6.1的新功能

    NVIDIA JetPack一直在不断发展,通过提供量身定制的先进软件满足边缘 AI 和机器人开发者日益增长的需求。每次发布的 JetPack 新版本都会升级性能、加入新功能与优化现有工具,以便为
    的头像 发表于 11-28 10:41 333次阅读
    解析<b class='flag-5'>NVIDIA</b> JetPack 6.1的<b class='flag-5'>新功能</b>

    在设备上利用AI Edge Torch生成式API部署自定义大语言模型

    使用 TFLite 运行时的设备上实现高性能的 PyTorch 模型推理。 AI Edge Torch 生成式 API 使开发者能够在设备上引入强大的新功能,例如摘要生成、内容生成等。我们之前已经通过
    的头像 发表于 11-14 10:23 480次阅读
    在设备上利用<b class='flag-5'>AI</b> <b class='flag-5'>Edge</b> Torch生成式API<b class='flag-5'>部署</b>自定义大语言模型

    NVIDIA与德勤共同部署适用于医疗健康的数字AI智能体

    渥太华医院使用 NVIDIA AI 驱动的德勤 Frontline AI Teammate 来部署 AI 助手,以提供更好的患者体验并减轻管
    的头像 发表于 11-13 11:37 385次阅读

    印度头部IT企业与NVIDIA合作加速AI采用

    Infosys、TCS、Tech Mahindra 和 Wipro 这四家公司的近 50 万名开发者和顾问使用 NVIDIA AI Enterprise 软件设计和部署 AI 智能体,
    的头像 发表于 10-29 15:08 425次阅读

    NVIDIA NIM助力企业高效部署生成式AI模型

    Canonical、Nutanix 和 Red Hat 等厂商的开源 Kubernetes 平台集成了 NVIDIA NIM,将允许用户通过 API 调用来大规模地部署大语言模型。
    的头像 发表于 10-10 09:49 406次阅读

    NVIDIA新增生成式AI就绪系统认证类别

    借助全新的 NVIDIA Spectrum-X Ready 和 NVIDIA IGX 认证,领先的制造业合作伙伴将提供高性能系统,帮助客户轻松部署 AI
    的头像 发表于 10-10 09:44 395次阅读

    NVIDIA JetPack 6.0版本的关键功能

    NVIDIA JetPack SDK 支持 NVIDIA Jetson 模块,为构建端到端加速 AI 应用提供全面的解决方案。JetPack 6 通过微服务和一系列新功能,扩展了 Je
    的头像 发表于 09-09 10:18 459次阅读
    <b class='flag-5'>NVIDIA</b> JetPack 6.0版本的关键<b class='flag-5'>功能</b>

    NVIDIA AI助力SAP生成式AI助手Joule加速发展

    在美国佛罗里达州奥兰多举行的 SAP Sapphire 大会上,NVIDIA 与这家企业软件公司公布了搭载NVIDIA AI Enterprise软件的生成式 AI 合作成果,其为 S
    的头像 发表于 09-09 09:37 462次阅读

    NVIDIA RTX AI套件简化AI驱动的应用开发

    NVIDIA 于近日发布 NVIDIA RTX AI套件,这一工具和 SDK 集合能够帮助 Windows 应用开发者定制、优化和部署适用于 Windows 应用的
    的头像 发表于 09-06 14:45 467次阅读

    Edge AI工控机的定义、挑选考量与常见应用

    何谓Edge AI  在传统的AI部署方式中,边缘端的数据会集中到一台具备强大运算能力的服务器上,由这台服务器进行相关的模型训练和预测。为了让来自不同地点的使用者能够存取并使用这些
    的头像 发表于 08-14 10:51 458次阅读

    揭秘NVIDIA AI Workbench 如何助力应用开发

    能够根据其具体需求调整 AI 模型。 此类工作在过去可能需要复杂的设置,而新工具使这项工作变得空前简单NVIDIA AI Workben
    发表于 07-10 18:51 667次阅读
    揭秘<b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b> Workbench 如何助力应用开发

    NVIDIA与微软扩展合作,帮助开发者更快构建和部署AI应用

    NVIDIA 在 Microsoft Build 开发者大会上展示了与 Microsoft Azure 和 Windows PC 的集成解决方案,简化了 AI 模型部署并优化了路径规划和应用性能。
    的头像 发表于 05-23 10:14 438次阅读

    NVIDIA数字人技术加速部署生成式AI驱动的游戏角色

    NVIDIA 在 GDC 2024 大会上宣布,Inworld AI 等领先的 AI 应用程序开发者,正在使用 NVIDIA 数字人技术加速部署
    的头像 发表于 04-09 10:08 692次阅读
    <b class='flag-5'>NVIDIA</b>数字人技术加速<b class='flag-5'>部署</b>生成式<b class='flag-5'>AI</b>驱动的游戏角色

    Edge Impulse发布新工具,助 NVIDIA 模型大规模部署

    借助 Edge Impulse 和 NVIDIA TAO 工具包的协同效应,工程师得以快速构建并部署至边缘优化硬件(如上述型号)的计算机视觉模型。该平台还支持用户运用经由 GPU 优化的 NV
    的头像 发表于 03-25 16:00 774次阅读