构建 MaaS 平台
本案例中,九州未来的团队基于NVIDIA AI Enterprise的全栈软件套件,构建其 MaaS 大模型一体化开发及部署平台,该平台同时支持云端部署和私有化部署,通过九州未来开发的算力调度平台软件,实现云端资源与大模型一体机的算力协调和开发协同。
兼顾企业级的
安全性、可靠性和性能
随着大模型的持续发展,特别是垂直领域大模型,对于数据安全性及私密性、模型工具链及平台的通用性和可靠性、模型上线部署的易用性及推理性能等诸多方面提出了更多的诉求。面对快速增长的市场及客户需求,九州未来基于 NVIDIA AI Enterprise 自主开发了其大模型 MaaS 平台,不仅支持端到端的垂直领域大模型的开发全流程,同时支持线下一体机部署与云端资源协调模式,在最大化保护企业数据安全性的同时,兼顾灵活的算力调度与协调供给。
九州未来创始人兼 CEO 张淳先生表示,“AIGC 促进智能算力爆发式增长,并正加速迈入全面应用时代,今后一定不是裸算力简单的资源管理方式,一定需要用软件定义精算力来多元化地管理并提升 GPU 的附加价值,助力加速垂直模型和应用落地的效率。”
为构建自定义
生成式 AI 应用提供支持
NVIDIA AI Enterprise 是一个为企业提供生产就绪型全栈的软件解决方案,提供并保证其可靠的 AI 正常运行和不间断的 AI 卓越表现,实现利用生成式 AI 进行创新的企业加速开发。
九州未来通过 10 余年云边自主研发软件的技术积累,结合近年来赋能智算中心的不断落地,通过 NVIDIA AI Enterprise 深度的技术整合,以大模型为基础、轻量化微调的 MaaS 服务作为其核心服务能力之一,基于基础模型训练后的行业大模型,使用相关行业数据进行微调或知识检索能力的导入,再通过NVIDIA TensorRT-LLM及NVIDIA Triton推理服务器的推理优化和实现一键部署后,可以为特定行业提供高质量高性能的大模型 AI 应用。
上图的大模型 MaaS 平台,端到端包含 Animbus PaaS 平台(集成NVIDIA GPU Operator和Network Operator)、NVIDIA AI Enterprise 软件套件(包括NeMo Framework– Training Container 和 Inference Container)、MaaS 大模型服务及应用 UI 交互界面,以上所有的软件以及对应的操作系统镜像会打包到一个 U 盘里面,实现一个 U 盘即可快速启动大模型一体机的服务。
NVIDIA NeMo Framework
加速行业大模型开发
LLM(大型语言模型)的全面解决方案
在 MaaS 平台的二次开发和深度整合的过程中,九州未来团队使用 NVIDIA AI Enterprise 中的 NeMo Framework,一款端到端面向企业级交付、云原生大模型的框架,可以灵活地构建、定制和部署生成式 AI 模型。
该平台承载了诸多优质的大模型精选体验,结合特有的行业知识快速导入能力,用户能够很好地训练、微调、评估、优化及部署模型。对于选择好基础模型的用户,提供全流程的向导式服务,训练过程中的训练数据实时可查,用户可轻松基于数据集、使用最好的超参数完成微调任务,在模型完成评估后,实现大模型的一键优化部署。
主要支持训练及优化功能:
基础大模型仓库
SFT/PEFT/提示词工程
推理优化及一键部署
知识导入及向量数据库服务
通过 NVIDIA AI Enterprise 整体软件栈的加速,大模型微调和推理性能相比开源推理框架有大幅提升。
线形图代表在不同 Batch 的情况下完成每次推理请求的平均时延,越低代表越好;
柱状图代表在不同 Batch 情况下的每秒钟生成的 Token 数量,越高代表越好
准备好开始了吗?
审核编辑:汤梓红
-
NVIDIA
+关注
关注
14文章
4970浏览量
102959 -
AI
+关注
关注
87文章
30643浏览量
268824 -
大模型
+关注
关注
2文章
2407浏览量
2622
原文标题:NVIDIA AI Enterprise 助力九州未来构建 MaaS 平台 加速行业大模型开发与部署
文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
NVIDIA加速AI在日本各行各业的应用
赖耶科技通过NVIDIA AI Enterprise平台打造超级AI工厂
NVIDIA助力Amdocs打造生成式AI智能体
NVIDIA 携手全球合作伙伴推出 NIM Agent Blueprints,助力企业打造属于自己的 AI
![<b class='flag-5'>NVIDIA</b> 携手全球合作伙伴推出 NIM Agent Blueprints,<b class='flag-5'>助力</b>企业打造属于自己的 <b class='flag-5'>AI</b>](https://file1.elecfans.com/web2/M00/04/67/wKgZombOhzGAPnfbAB8EN4kz06w902.png)
日本九州大学开发了名为QDyeFinder的人工智能(AI)工具
NVIDIA 通过 Holoscan 为 NVIDIA IGX 提供企业软件支持,实现边缘实时医疗、工业和科学 AI 应用
![<b class='flag-5'>NVIDIA</b> 通过 Holoscan 为 <b class='flag-5'>NVIDIA</b> IGX 提供企业软件支持,实现边缘实时医疗、工业和科学 <b class='flag-5'>AI</b> 应用](https://file1.elecfans.com/web2/M00/EB/1A/wKgZomZdIYqAAFuCAAGFRzmL-Y0027.jpg)
NVIDIA AI Enterprise荣获金奖
![<b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b> <b class='flag-5'>Enterprise</b>荣获金奖](https://file1.elecfans.com/web2/M00/EA/08/wKgZomZWhOGAFG3cAAAZmQFpF-s016.png)
研华与英伟达深化合作,成为NVIDIA AI Enterprise软件全球分销商
研华与英伟达深化合作, 成为NVIDIA AI Enterprise软件全球分销商
![研华与英伟达深化合作, 成为<b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b> <b class='flag-5'>Enterprise</b>软件全球分销商](https://file1.elecfans.com/web2/M00/E2/79/wKgaomY5nl2AJYnNAA6396IXHMw722.png)
评论