NVIDIA 在 Microsoft Build 开发者大会上展示了与 Microsoft Azure 和 Windows PC 的集成解决方案,简化了 AI 模型部署并优化了路径规划和应用性能。
如果说经过优化的 AI 工作流如同一个完美的交响乐团,从硬件基础设施到软件库的每一个组成部分都恰到好处,那么 NVIDIA 与微软长期以来的默契合作对于开发者来说便如同悦耳的音乐。
微软开发的 Phi-3 系列小语言模型等最新 AI 模型经过优化后,可在 NVIDIA GPU 上运行,并以 NVIDIA NIM 推理微服务的形式提供。NVIDIA 开发的其他微服务,如 cuOpt 路径优化 AI 等,正作为 NVIDIA AI Enterprise 软件平台的一部分被定期添加到 Microsoft Azure Marketplace 中。
除了这些 AI 技术之外,NVIDIA 和微软还为开发者提供越来越多的优化和集成功能,帮助他们为搭载有 NVIDIA GeForce RTX 和 NVIDIA RTX GPU 的 PC 创建高性能 AI 应用。
基于在 NVIDIA GTC 上所公布的进展,两家公司在今年于西雅图举行的年度开发者盛会 Microsoft Build 上进一步推进这一长期合作。
加速微软的 Phi-3 模型
微软正在扩展其 Phi-3 开源小语言模型系列,增加了小型(70 亿参数)和中型(140 亿参数)模型,类似于拥有 38 亿个参数的 Phi-3 Mini。另外,微软还推出了一个新的 42 亿参数多模态模型 Phi-3-vision,支持图像和文本。
所有这些模型均通过 NVIDIA TensorRT-LLM 实现了 GPU 优化,并以 NVIDIA NIM 的形式提供。NVIDIA NIM 是具有标准应用编程接口(API)的加速推理微服务,可以部署在任何位置。
您可在ai.nvidia.com上或通过 Azure Marketplace 上的 NVIDIA AI Enterprise,获取由这些 NIM 支持的 Phi-3 模型的 API。
NVIDIA cuOpt
现已登陆 Azure Marketplace
NVIDIA cuOpt 是一项适用于路径优化的 GPU 加速 AI 微服务,该服务现在通过 NVIDIA AI Enterprise 在 Azure Marketplace 上架。cuOpt 所采用的大规模并行算法能够实现航运服务、铁路系统、仓库和工厂的实时物流管理。
该模型在主要的路径基准测试中创造了二十多项世界纪录,展现出最高的准确性和最快的速度。通过优化车辆路线、节省行路时间和减少空闲时间,它能够为物流和供应链行业节省数十亿美元。
通过 Azure Marketplace,开发人员可以轻松地将 cuOpt 微服务与 Azure 地图集成,在企业级管理工具和安全性的支持下,支持实时物流管理和其他基于云的工作流。
使用 NVIDIA RTX 优化 PC 的 AI 性能
NVIDIA 加速计算平台是现代 AI 的中坚力量,可帮助开发者为全球超过 1 亿台 Windows GeForce RTX PC 和 NVIDIA RTX 工作站构建解决方案。
NVIDIA 和微软正在为 Windows 开发者打造能够加速下一代 PC 和工作站应用 AI 性能的全新优化和集成,包括:
通过 NVIDIA DirectX 驱动、Generative AI ONNX Runtime 扩展和 DirectML 提高大语言模型(LLM)的推理性能。NVIDIA GeForce Game Ready、NVIDIA Studio 和 NVIDIA RTX Enterprise 驱动现已提供这些优化,在 NVIDIA GeForce RTX GPU 上提供至高可达 3 倍的性能提升。
通过 WebNN 优化 Stable Diffusion、Whisper 等 AI 模型在 RTX GPU 上的性能。WebNN 是一个能够帮助开发者使用设备端硬件加速网络应用 AI 模型的 API。
随着 Windows 将通过 DirectML 来支持 PyTorch,数以千计的 Hugging Face 模型将在 Windows 中原生运行。NVIDIA 与微软正在合作,在 1 亿多个 RTX AI GPU 上扩展性能。
与 NVIDIA 一起参加Microsoft Build 开发者大会
大会参加者可以体验 NVIDIA NIM、NVIDIA cuOpt、NVIDIA Omniverse 和 NVIDIA RTX AI 平台的现场演示。展台还将重点展示适用于医疗影像工作流的 NVIDIA MONAI 平台和适用于药物研发的 NVIDIA BioNeMo 生成式 AI 平台。这两个平台均作为 Azure 上 NVIDIA AI Enterprise 的一部分提供。
审核编辑:刘清
-
NVIDIA
+关注
关注
14文章
4978浏览量
102982 -
ai技术
+关注
关注
1文章
1266浏览量
24284 -
Microsoft
+关注
关注
0文章
214浏览量
6848 -
大模型
+关注
关注
2文章
2423浏览量
2640
原文标题:NVIDIA 与微软扩展合作,帮助开发者更快构建和部署 AI 应用
文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论