0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA与微软扩展合作,帮助开发者更快构建和部署AI应用

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 2024-05-23 10:14 次阅读

NVIDIA 在 Microsoft Build 开发者大会上展示了与 Microsoft Azure 和 Windows PC 的集成解决方案,简化了 AI 模型部署并优化了路径规划和应用性能。

如果说经过优化的 AI 工作流如同一个完美的交响乐团,从硬件基础设施到软件库的每一个组成部分都恰到好处,那么 NVIDIA 与微软长期以来的默契合作对于开发者来说便如同悦耳的音乐。

微软开发的 Phi-3 系列小语言模型等最新 AI 模型经过优化后,可在 NVIDIA GPU 上运行,并以 NVIDIA NIM 推理微服务的形式提供。NVIDIA 开发的其他微服务,如 cuOpt 路径优化 AI 等,正作为 NVIDIA AI Enterprise 软件平台的一部分被定期添加到 Microsoft Azure Marketplace 中。

除了这些 AI 技术之外,NVIDIA 和微软还为开发者提供越来越多的优化和集成功能,帮助他们为搭载有 NVIDIA GeForce RTX NVIDIA RTX GPU 的 PC 创建高性能 AI 应用。

基于在 NVIDIA GTC 上所公布的进展,两家公司在今年于西雅图举行的年度开发者盛会 Microsoft Build 上进一步推进这一长期合作。

加速微软的 Phi-3 模型

微软正在扩展其 Phi-3 开源小语言模型系列,增加了小型(70 亿参数)和中型(140 亿参数)模型,类似于拥有 38 亿个参数的 Phi-3 Mini。另外,微软还推出了一个新的 42 亿参数多模态模型 Phi-3-vision,支持图像和文本。

所有这些模型均通过 NVIDIA TensorRT-LLM 实现了 GPU 优化,并以 NVIDIA NIM 的形式提供。NVIDIA NIM 是具有标准应用编程接口(API)的加速推理微服务,可以部署在任何位置。

您可在ai.nvidia.com上或通过 Azure Marketplace 上的 NVIDIA AI Enterprise,获取由这些 NIM 支持的 Phi-3 模型的 API。

NVIDIA cuOpt

现已登陆 Azure Marketplace

NVIDIA cuOpt 是一项适用于路径优化的 GPU 加速 AI 微服务,该服务现在通过 NVIDIA AI Enterprise 在 Azure Marketplace 上架。cuOpt 所采用的大规模并行算法能够实现航运服务、铁路系统、仓库和工厂的实时物流管理。

该模型在主要的路径基准测试中创造了二十多项世界纪录,展现出最高的准确性和最快的速度。通过优化车辆路线、节省行路时间和减少空闲时间,它能够为物流和供应链行业节省数十亿美元。

通过 Azure Marketplace,开发人员可以轻松地将 cuOpt 微服务与 Azure 地图集成,在企业级管理工具和安全性的支持下,支持实时物流管理和其他基于云的工作流。

使用 NVIDIA RTX 优化 PC 的 AI 性能

NVIDIA 加速计算平台是现代 AI 的中坚力量,可帮助开发者为全球超过 1 亿台 Windows GeForce RTX PC 和 NVIDIA RTX 工作站构建解决方案。

NVIDIA 和微软正在为 Windows 开发者打造能够加速下一代 PC 和工作站应用 AI 性能的全新优化和集成,包括:

通过 NVIDIA DirectX 驱动、Generative AI ONNX Runtime 扩展和 DirectML 提高大语言模型(LLM)的推理性能。NVIDIA GeForce Game Ready、NVIDIA StudioNVIDIA RTX Enterprise 驱动现已提供这些优化,在 NVIDIA GeForce RTX GPU 上提供至高可达 3 倍的性能提升。

通过 WebNN 优化 Stable Diffusion、Whisper 等 AI 模型在 RTX GPU 上的性能。WebNN 是一个能够帮助开发者使用设备端硬件加速网络应用 AI 模型的 API。

随着 Windows 将通过 DirectML 来支持 PyTorch,数以千计的 Hugging Face 模型将在 Windows 中原生运行。NVIDIA 与微软正在合作,在 1 亿多个 RTX AI GPU 上扩展性能。

与 NVIDIA 一起参加Microsoft Build 开发者大会

大会参加者可以体验 NVIDIA NIM、NVIDIA cuOpt、NVIDIA Omniverse 和 NVIDIA RTX AI 平台的现场演示。展台还将重点展示适用于医疗影像工作流的 NVIDIA MONAI 平台和适用于药物研发的 NVIDIA BioNeMo 生成式 AI 平台。这两个平台均作为 Azure 上 NVIDIA AI Enterprise 的一部分提供。



审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4978

    浏览量

    102982
  • ai技术
    +关注

    关注

    1

    文章

    1266

    浏览量

    24284
  • Microsoft
    +关注

    关注

    0

    文章

    214

    浏览量

    6848
  • 大模型
    +关注

    关注

    2

    文章

    2423

    浏览量

    2640

原文标题:NVIDIA 与微软扩展合作,帮助开发者更快构建和部署 AI 应用

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    云端AI开发者工具怎么用

    云端AI开发者工具通常包括代码编辑器、模型训练平台、自动化测试工具、代码管理工具等。这些工具不仅降低了AI开发的门槛,还极大地提高了开发效率
    的头像 发表于 12-05 13:31 110次阅读

    自动化AI开发平台功能介绍

    自动化AI开发平台集成了多种算法、工具和框架,旨在帮助开发者更快速、高效地设计、训练、部署和管理
    的头像 发表于 11-14 09:29 204次阅读

    香橙派与昇思MindSpore合作提速,软硬结合助力开发者构建创新AI应用

    近日,昇思MindSpore开源社区与香橙派合作成果加速落地,持续为开发者提供普惠的端侧算力与好用的AI框架,软硬结合助力高校AI课程建设,帮助
    的头像 发表于 11-01 17:02 784次阅读
    香橙派与昇思MindSpore<b class='flag-5'>合作</b>提速,软硬结合助力<b class='flag-5'>开发者</b><b class='flag-5'>构建</b>创新<b class='flag-5'>AI</b>应用

    Arm推出GitHub平台AI工具,简化开发者AI应用开发部署流程

    软件提供了无缝的开发体验。 GitHub Actions、原生 GitHub 运行器和基于 Arm 平台的 AI 框架相结合,帮助全球 2,000 万开发者简化
    的头像 发表于 10-31 18:51 1943次阅读

    印度头部IT企业与NVIDIA合作加速AI采用

    Infosys、TCS、Tech Mahindra 和 Wipro 这四家公司的近 50 万名开发者和顾问使用 NVIDIA AI Enterprise 软件设计和部署
    的头像 发表于 10-29 15:08 360次阅读

    2024 OPPO开发者盛会:共创全民参与的AI新纪元

     2024年10月17日,OPPO开发者大会(ODC24)在杭州盛大开幕,以“AI 更近一步”为主题,聚焦于OPPO AI技术的革新与构建开放合作
    的头像 发表于 10-17 16:28 609次阅读

    NVIDIA RTX AI套件简化AI驱动的应用开发

    NVIDIA 于近日发布 NVIDIA RTX AI套件,这一工具和 SDK 集合能够帮助 Windows 应用开发者定制、优化和
    的头像 发表于 09-06 14:45 436次阅读

    揭秘NVIDIA AI Workbench 如何助力应用开发

    能够根据其具体需求调整 AI 模型。 此类工作在过去可能需要复杂的设置,而新工具使这项工作变得空前简单。 NVIDIA AI Workbench 可协助 AI
    发表于 07-10 18:51 639次阅读
    揭秘<b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b> Workbench 如何助力应用<b class='flag-5'>开发</b>

    亚马逊云科技连续5年位列Gartner云AI开发者服务魔力象限领导

    "上处于最高位置。这已经是亚马逊云科技连续5年位列Gartner®云AI开发者服务魔力象限"领导"。 亚马逊云科技致力于成为企业构建和应用生成式A
    的头像 发表于 07-04 04:55 659次阅读

    NVIDIA Holoscan SDK中使用OpenCV构建零拷贝AI传感器处理管线

    NVIDIA Holoscan 是 NVIDIA 的跨领域多模态实时 AI 传感器处理平台,为开发者构建端到端传感器处理管线奠定了基础。
    的头像 发表于 07-02 11:50 513次阅读
    在<b class='flag-5'>NVIDIA</b> Holoscan SDK中使用OpenCV<b class='flag-5'>构建</b>零拷贝<b class='flag-5'>AI</b>传感器处理管线

    NVIDIA将全球数百万开发者转变为生成式 AI 开发者

    来自 AI 生态系统各个领域的 150 余家合作伙伴嵌入了 NIM 推理微服务,将企业级 AI 应用的部署时间从数周缩短至几分钟 NVIDIA
    的头像 发表于 06-03 18:21 1023次阅读

    NVIDIA NIM 革命性地改变模型部署,将全球数百万开发者转变为生成式 AI 开发者

    来自 AI 生态系统各个领域的 150 余家合作伙伴嵌入了 NIM 推理微服务,将企业级 AI 应用的部署时间从数周缩短至几分钟 NVIDIA
    发表于 06-03 09:12 225次阅读
    <b class='flag-5'>NVIDIA</b> NIM 革命性地改变模型<b class='flag-5'>部署</b>,将全球数百万<b class='flag-5'>开发者</b>转变为生成式 <b class='flag-5'>AI</b> <b class='flag-5'>开发者</b>

    NVIDIA数字人技术加速部署生成式AI驱动的游戏角色

    NVIDIA 在 GDC 2024 大会上宣布,Inworld AI 等领先的 AI 应用程序开发者,正在使用 NVIDIA 数字人技术加速
    的头像 发表于 04-09 10:08 662次阅读
    <b class='flag-5'>NVIDIA</b>数字人技术加速<b class='flag-5'>部署</b>生成式<b class='flag-5'>AI</b>驱动的游戏角色

    【转载】英特尔开发套件“哪吒”快速部署YoloV8 on Java | 开发者实战

    OpenVINO 工具套件基于OneAPI开发,可以加快高性能计算机视觉和深度学习应用开发速度的工具套件,适用于从边缘到云的各种英特尔计算平台上,帮助用户更快地将更准确的真实世界数据的
    的头像 发表于 03-23 08:05 551次阅读
    【转载】英特尔<b class='flag-5'>开发</b>套件“哪吒”快速<b class='flag-5'>部署</b>YoloV8 on Java | <b class='flag-5'>开发者</b>实战

    HarmonyOS SDK,助力开发者打造焕然一新的鸿蒙原生应用

    部署和维护的全生命周期。HarmonyOS SDK 基于开发者开发所需要的功能和特性提供了六大领域:应用框架领域提供包括 ArkTS、 ArkUI 等移动应用开发的基础设施,
    发表于 01-19 10:31