0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA AI Enterprise助力九州未来构建MaaS平台

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 2024-01-10 17:24 次阅读

借助 NVIDIA AI Enterprise

构建 MaaS 平台

本案例中,九州未来的团队基于NVIDIA AI Enterprise的全栈软件套件,构建其 MaaS 大模型一体化开发及部署平台,该平台同时支持云端部署和私有化部署,通过九州未来开发的算力调度平台软件,实现云端资源与大模型一体机的算力协调和开发协同。

兼顾企业级的

安全性、可靠性和性能

随着大模型的持续发展,特别是垂直领域大模型,对于数据安全性及私密性、模型工具链及平台的通用性和可靠性、模型上线部署的易用性及推理性能等诸多方面提出了更多的诉求。面对快速增长的市场及客户需求,九州未来基于 NVIDIA AI Enterprise 自主开发了其大模型 MaaS 平台,不仅支持端到端的垂直领域大模型的开发全流程,同时支持线下一体机部署与云端资源协调模式,在最大化保护企业数据安全性的同时,兼顾灵活的算力调度与协调供给。

九州未来创始人兼 CEO 张淳先生表示,“AIGC 促进智能算力爆发式增长,并正加速迈入全面应用时代,今后一定不是裸算力简单的资源管理方式,一定需要用软件定义精算力来多元化地管理并提升 GPU 的附加价值,助力加速垂直模型和应用落地的效率。”

为构建自定义

生成式 AI 应用提供支持

NVIDIA AI Enterprise 是一个为企业提供生产就绪型全栈的软件解决方案,提供并保证其可靠的 AI 正常运行和不间断的 AI 卓越表现,实现利用生成式 AI 进行创新的企业加速开发。

九州未来通过 10 余年云边自主研发软件的技术积累,结合近年来赋能智算中心的不断落地,通过 NVIDIA AI Enterprise 深度的技术整合,以大模型为基础、轻量化微调的 MaaS 服务作为其核心服务能力之一,基于基础模型训练后的行业大模型,使用相关行业数据进行微调或知识检索能力的导入,再通过NVIDIA TensorRT-LLM及NVIDIA Triton推理服务器的推理优化和实现一键部署后,可以为特定行业提供高质量高性能的大模型 AI 应用。

上图的大模型 MaaS 平台,端到端包含 Animbus PaaS 平台(集成NVIDIA GPU Operator和Network Operator)、NVIDIA AI Enterprise 软件套件(包括NeMo Framework– Training Container 和 Inference Container)、MaaS 大模型服务及应用 UI 交互界面,以上所有的软件以及对应的操作系统镜像会打包到一个 U 盘里面,实现一个 U 盘即可快速启动大模型一体机的服务。

NVIDIA NeMo Framework

加速行业大模型开发

LLM(大型语言模型)的全面解决方案

在 MaaS 平台的二次开发和深度整合的过程中,九州未来团队使用 NVIDIA AI Enterprise 中的 NeMo Framework,一款端到端面向企业级交付、云原生大模型的框架,可以灵活地构建、定制和部署生成式 AI 模型。

该平台承载了诸多优质的大模型精选体验,结合特有的行业知识快速导入能力,用户能够很好地训练、微调、评估、优化及部署模型。对于选择好基础模型的用户,提供全流程的向导式服务,训练过程中的训练数据实时可查,用户可轻松基于数据集、使用最好的超参数完成微调任务,在模型完成评估后,实现大模型的一键优化部署。

主要支持训练及优化功能:

基础大模型仓库

SFT/PEFT/提示词工程

推理优化及一键部署

知识导入及向量数据库服务

通过 NVIDIA AI Enterprise 整体软件栈的加速,大模型微调和推理性能相比开源推理框架有大幅提升。

线形图代表在不同 Batch 的情况下完成每次推理请求的平均时延,越低代表越好;

柱状图代表在不同 Batch 情况下的每秒钟生成的 Token 数量,越高代表越好

准备好开始了吗?

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4970

    浏览量

    102959
  • AI
    AI
    +关注

    关注

    87

    文章

    30643

    浏览量

    268824
  • 大模型
    +关注

    关注

    2

    文章

    2407

    浏览量

    2622

原文标题:NVIDIA AI Enterprise 助力九州未来构建 MaaS 平台 加速行业大模型开发与部署

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NVIDIA加速AI在日本各行各业的应用

    企业借助基于 NVIDIA AI Enterprise 与 Omniverse 工业 AI 构建的创新中心和服务加速
    的头像 发表于 11-19 15:45 217次阅读

    赖耶科技通过NVIDIA AI Enterprise平台打造超级AI工厂

    NVIDIA 技术团队保持合作。赖耶科技通过NVIDIA AI Enterprise平台打造的超级
    的头像 发表于 11-19 14:55 349次阅读

    NVIDIA助力Amdocs打造生成式AI智能体

    Amdocs 是一家为通信和媒体提供商提供软件与服务的领先供应商。该公司构建的 amAIz 特定领域生成式 AI 平台帮助电信公司深入改变了客户体验,实现了流程自动化,并优化了决策。Amdocs
    的头像 发表于 11-19 14:48 317次阅读

    NVIDIA 携手全球合作伙伴推出 NIM Agent Blueprints,助力企业打造属于自己的 AI

    NVIDIA AI Enterprise 平台中的 NIM 微服务与 NeMo 框架构建和运行他们的
    发表于 08-28 10:10 212次阅读
    <b class='flag-5'>NVIDIA</b> 携手全球合作伙伴推出 NIM Agent Blueprints,<b class='flag-5'>助力</b>企业打造属于自己的 <b class='flag-5'>AI</b>

    日本九州大学开发了名为QDyeFinder的人工智能(AI)工具

    在探索大脑这一宇宙中最复杂结构的征途中,科学家们不断突破技术的边界,以更精细、更高效的方式揭示其奥秘。近期,日本九州大学的研究团队在《自然·通讯》杂志上发表了一项革命性的研究成果,他们开发了一种名为
    的头像 发表于 07-03 14:43 465次阅读

    NVIDIA 通过 Holoscan 为 NVIDIA IGX 提供企业软件支持,实现边缘实时医疗、工业和科学 AI 应用

    NVIDIA Holoscan 的 NVIDIA AI Enterprise-IGX 软件现已在 NVIDIA IGX
    发表于 06-03 09:48 301次阅读
      <b class='flag-5'>NVIDIA</b> 通过 Holoscan 为 <b class='flag-5'>NVIDIA</b> IGX 提供企业软件支持,实现边缘实时医疗、工业和科学 <b class='flag-5'>AI</b> 应用

    NVIDIA AI Enterprise荣获金奖

    NVIDIA AI Enterprise、GH200 Grace Hopper 超级芯片和 Spectrum-X 在 COMPUTEX 2024 获得认可。
    的头像 发表于 05-29 09:27 442次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b> <b class='flag-5'>Enterprise</b>荣获金奖

    研华与英伟达深化合作,成为NVIDIA AI Enterprise软件全球分销商

    近日,研华宣布扩大与英伟达的合作,未来将通过工业级边缘计算和英伟达 AI Enterprise 软件平台提升全球企业的AI生产力。
    的头像 发表于 05-10 10:25 435次阅读

    研华与英伟达深化合作, 成为NVIDIA AI Enterprise软件全球分销商

    )的软件平台。近日发布的NVIDIA AI Enterprise 5.0将为用户提供一系列微服务,其中包括NVIDIA NIM。这是一套用于
    发表于 05-07 11:21 346次阅读
    研华与英伟达深化合作, 成为<b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b> <b class='flag-5'>Enterprise</b>软件全球分销商

    睿创微纳携多款汽车红外热成像产品亮相2024九州汽车生态博览会

    3月7日至10日,亚洲规模最大、品类最全汽车生态大展——2024九州汽车生态博览会(简称:九州展)在深圳盛大举办,圆满落幕。
    的头像 发表于 03-20 09:16 611次阅读

    2024九州展:睿创微纳汽车红外热成像解决方案,实力出圈!

    3月7日至10日,亚洲规模最大、品类最全汽车生态大展——2024九州汽车生态博览会(简称:九州展)在深圳盛大举办,圆满落幕。
    的头像 发表于 03-12 14:23 872次阅读

    九州风神冲刺北交所IPO

    近日,国产高性能散热装置领域的佼佼者九州风神在北交所的IPO进程中迎来了第二轮审核问询函的发布。这标志着九州风神距离登陆资本市场又近了一步,其发展前景备受市场关注。
    的头像 发表于 03-11 13:57 545次阅读

    九州风神北交所IPO新进展

    近日,北京市九州风神科技股份有限公司(以下简称九州风神),这家以高性能散热装置研发、生产和销售为核心业务的高新技术企业,在北交所的IPO进程中,发布了第二轮审核问询函。这标志着九州风神在资本市场上的步伐又向前迈进了一步。
    的头像 发表于 03-11 13:55 659次阅读

    魔视智能于九州汽车生态博览会发布全新商用车前装AEB系统

    2024年3月7日-10日,中国深圳,魔视智能MOTOVIS于2024年九州汽车生态博览会期间(下文简称:九州展)发布全新商用车前装AEB系统。
    的头像 发表于 03-11 09:11 634次阅读

    熊本县、熊本大学及九州大学签署半导体领域研究与人才培养协议

    日本熊本县、熊本大学及九州大学达成综合协议, 着眼于攻克半导体技术挑战, 加强研发和培养人才力度。此次聚首旨在满足熊本地块吸引的全球代工巨头——台积电及其供应商产生的技术人员需求。
    的头像 发表于 12-27 10:34 593次阅读