0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

浪潮AIStation助力企业AI计算资源使用大幅提升

汽车玩家 来源:中国IDC圈 作者:中国IDC圈 2020-03-20 16:48 次阅读

对于AI企业来说,GPU等计算资源昂贵,如何提高资源利用率,保护计算力投资?如何解决资源抢占,保证资源使用公平合理?如何减少等待时间,提高模型训练效率……这些问题都关系着研发创新的进度。且看浪潮AIStation人工智能开发平台用三招“组合拳”打破计算力壁垒,加速企业AI开发进程。

某企业AI开发面临的问题

某企业有四台8卡GPU服务器供50位开发人员使用,典型的人多资源少。具体来说,有以下几大问题:

人均不足一张GPU卡,GPU使用需要相互协调,开发效率低;

每十多人为一个小组共用一个GPU节点,可能使有的小组资源空闲而有的小组却无资源可用,造成资源孤岛;

缺乏优先机制,重要任务无法得到及时提交;

在白天GPU卡几乎全部用于开发环境创建,开发人员只能在晚上提交训练任务,模型训练数量非常有限。

AIStation三招解决企业算力问题

AIStation是面向AI企业开发场景的人工智能资源平台,可通过资源配额、GPU共享、排队托管三招“组合拳”,智能化分配GPU计算资源,提高资源利用率,帮助用户提高开发效率。

首先,AIStation收拢分散的计算资源,提供集群式的池化管理,并设置资源配额策略,实现多用户公平均衡使用资源。

AIStation将开发用户划分为5个用户组,每个用户组10人,并根据业务需求设置每组和每个用户的使用配额,如可设置每组使用6张GPU卡、40个CPU核。并对每个用户的开发环境使用时长、同时提交任务数量进行限制。

其次,AIStation通过GPU共享策略,可以让多人共用一张GPU卡且互不影响。

AIStation统一管理4台GPU节点,将其中2个节点的16张GPU卡设置为开发资源组,用于开发环境创建,剩下16张GPU卡为训练资源组,用于模型训练。通过共享策略,AIStation可将开发资源组的每张GPU卡切分为8份,每份使用4G显存。这样原来的16张GPU卡相当于变为了128张卡。并且通过设置CPU超线程策略扩展CPU核数,满足50个用户同时创建开发环境的需求。用户也可以根据自己的模型设置batchsize和显存使用的大小。

GPU共享模式

最后,AIStation通过任务排队托管、定义任务优先级,充分利用空闲时间训练任务,并且可根据优先级调度任务排队运行。

用户可同时提交多个训练任务,资源不足时排队等待,一个任务训练结束后自动释放资源给排队等待的任务,从而可以充分利用夜间、周末训练任务,延长GPU的使用时间。同时用户可设置优先级,让重要任务优先训练。

开发用户任务托管

AIStation取得显著效果

GPU使用时间加大近1倍。原来单个GPU节点分配给一个用户小组使用,每卡每天的平均使用时间仅为14.4小时。AIStation通过GPU共享、任务托管,解决资源孤岛,将每卡每天的平均使用时间提升到22.8小时。

一天周期内集群GPU使用情况

GPU利用率提升50%。原来用户在开发阶段独占一张GPU,GPU利用率仅为10%,训练阶段可达90%,每天每卡的平均利用率为30%。使用AIStation后,开发阶段8人共用一张GPU卡,GPU利用率可上升为80%,训练阶段为90%,每天每卡的利用率可达到80%。

GPU使用情况对比

每周训练任务的数量增大一倍多。假设提交一个ImageNet数据集和一个ResNet50模型,使用1张Tesla V100 GPU卡训练任务,每个任务的训练时间大概为12小时。

原来因为人均不够一张卡,白天GPU卡用于创建开发环境,晚上才能训练任务,那么一个工作日可以完成的任务数最多为32个,即一周可以完成160个任务。

而AIStation支持任务排队,可以最大限度的使用GPU资源。一周可以完成368个任务数,效率提升2.3倍。假设开发团队单个项目平均需要训练的任务数为50,那么每个月的项目完成数从3个提升到7个。

可以看出,浪潮AIStation通过对计算资源的高效管理、调度,在GPU使用时间、利用率和训练任务数量上,相比原方案均实现了大幅提升,最大化地优化了资源使用。

浪潮AIStation人工智能资源平台面向AI企业开发场景,致力于帮助企业构建一体化的AI开发平台,为AI开发工程师提供高效的计算力支撑、精准的资源管理和调度、敏捷的数据整合及加速、流程化的AI开发业务整合,助力AI企业提高开发效率和产品上市速度,增强企业竞争力。

除了高效的资源管理,AIStation在开发环境创建、数据管理、开发流程管理等方面也表现出色。在后续文章中,我们将结合实际应用场景为大家详细介绍,敬请关注。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4661

    浏览量

    128528
  • 浪潮
    +关注

    关注

    1

    文章

    448

    浏览量

    23775
  • AI
    AI
    +关注

    关注

    87

    文章

    29611

    浏览量

    267910
收藏 人收藏

    评论

    相关推荐

    浪潮信息发布KOS AI定制版,大幅提升大模型训练效率

    浪潮信息近期推出了“元脑服务器操作系统KOS AI定制版”,为人工智能领域带来了革命性的变化。这款定制版操作系统通过简单的两步操作,即可实现大模型训练环境的快速部署。
    的头像 发表于 10-30 17:23 369次阅读

    浪潮信息AI存储性能测试的领先之道

    MLCommons,一个致力于推动全球 AI系统发展的顶级工程联盟,汇聚了包括谷歌、斯坦福大学在内的众多顶尖企业和研究机构。作为该联盟的创始成员之一,浪潮信息自2020年起便积极参与其中,共同探索
    的头像 发表于 10-29 16:30 120次阅读
    <b class='flag-5'>浪潮</b>信息<b class='flag-5'>AI</b>存储性能测试的领先之道

    浪潮信息:元脑企智EPAI助力金融大模型快速落地

    近日,2024金融科技应用创新发展大会暨农村金融机构信息化发展创新座谈会在上海举办。浪潮信息推出元脑企智EPAI企业大模型开发平台,面向金融业务场景,实现7天完成POC验证、2个月上线AI应用,通过
    的头像 发表于 09-20 16:07 271次阅读
    <b class='flag-5'>浪潮</b>信息:元脑企智EPAI<b class='flag-5'>助力</b>金融大模型快速落地

    浪潮信息发布AIStation V5,全面支持大模型开发流程与高效算力调度

    北京2024年7月11日 /美通社/ -- 7月9日,在"元脑中国行"全国巡展济南站上,浪潮信息发布AIStation 人工智能开发平台V5升级版,具备全面的大模型流程支持能力,帮助企业用户降低构建
    的头像 发表于 07-12 09:37 338次阅读
    <b class='flag-5'>浪潮</b>信息发布<b class='flag-5'>AIStation</b> V5,全面支持大模型开发流程与高效算力调度

    浪潮信息发布AIStation 人工智能开发平台V5升级版

    7月9日,在“元脑中国行”全国巡展济南站上,浪潮信息发布「AIStation 人工智能开发平台V5升级版」,具备全面的大模型流程支持能力,帮助企业用户降低构建大模型微调任务门槛,提供标准、安全
    的头像 发表于 07-10 16:25 613次阅读

    Lunar Lake:NPU性能全面提升,能耗也大幅降低,综合AI算力提升至120TOPS

    英特尔CEO帕特·基辛格在COMPUTEX 2024上发表主题演讲,正式公布了下一代面向AI PC的移动处理器Lunar Lake,不仅CPU、GPU、NPU性能全面提升,能耗也大幅降低,综合
    的头像 发表于 06-05 15:54 8221次阅读
    Lunar Lake:NPU性能全面<b class='flag-5'>提升</b>,能耗也<b class='flag-5'>大幅</b>降低,综合<b class='flag-5'>AI</b>算力<b class='flag-5'>提升</b>至120TOPS

    毕昇大模型应用开发平台+浪潮信息AIStation,让大模型定制更简单

    北京2024年6月5日 /美通社/ -- 近日,毕昇大模型应用开发平台与浪潮信息AIStation智能业务生产创新平台完成兼容性互认证。基于毕昇和浪潮信息AIStation,用户通过预
    的头像 发表于 06-05 11:58 367次阅读
    毕昇大模型应用开发平台+<b class='flag-5'>浪潮</b>信息<b class='flag-5'>AIStation</b>,让大模型定制更简单

    加速企业云上降本增效,提升性能首选云耀 X 实例

    ,在成本和性能方面全面升级,以其卓越的性价比,成为企业计算的明智之选,助力企业在降本增效的同时,实现快速成长。 柔性算力灵活配置算力资源
    的头像 发表于 05-22 19:59 854次阅读
    加速<b class='flag-5'>企业</b>云上降本增效,<b class='flag-5'>提升</b>性能首选云耀 X 实例

    存内计算WTM2101编译工具链 资料

    领先的存内计算芯片企业。公司针对AI应用场景,在全球率先商业化量产基于存内计算技术的神经网络芯片。凭借颠覆性的技术创新,知存科技突破传统计算
    发表于 05-16 16:33

    浪潮信息发布企业大模型开发平台“元脑企智”EPAI

    4月17日,在2024浪潮信息生态伙伴大会(IPF2024)上,浪潮信息重磅发布企业大模型开发平台“元脑企智”EPAI(Enterprise Platform of AI),为
    的头像 发表于 04-18 10:12 340次阅读
    <b class='flag-5'>浪潮</b>信息发布<b class='flag-5'>企业</b>大模型开发平台“元脑企智”EPAI

    浪潮信息&quot;源2.0&quot;大模型YuanChat支持英特尔最新商用AI PC

    % 。企业可以在全新的英特尔商用客户端AI PC上,使用AI PC大模型效率工具"YuanChat"快速本地化部署和运行"源2.0"大模型, 以更快的访问速度、更高的性能和更好的数据安全控制,轻松完成自动编程、商业数据
    的头像 发表于 03-27 22:52 428次阅读
    <b class='flag-5'>浪潮</b>信息&quot;源2.0&quot;大模型YuanChat支持英特尔最新商用<b class='flag-5'>AI</b> PC

    潞晨科技Colossal-AI浪潮信息AIStation完成兼容性互认证

    近日,潞晨科技的Colossal-AI大模型开发工具和浪潮信息的AIStation智能业务创新生产平台成功完成了兼容性互认证。这一合作意味着用户可以在AIStation平台上便捷地部署
    的头像 发表于 03-06 10:18 708次阅读

    潞晨科技Colossal-AI + 浪潮信息AIStation,大模型开发效率提升10倍

    北京2024年2月29日 /美通社/ -- 近日,潞晨科技Colossal-AI大模型开发工具与浪潮信息AIStation智能业务创新生产平台完成兼容性互认证。基于AIStation
    的头像 发表于 03-01 09:43 432次阅读
    潞晨科技Colossal-<b class='flag-5'>AI</b> + <b class='flag-5'>浪潮</b>信息<b class='flag-5'>AIStation</b>,大模型开发效率<b class='flag-5'>提升</b>10倍

    边缘计算盒子护航企业安全生产,边缘设备提高安全生产监管效率

    助力企业安全生产,实现本地设备智能管理与降本增效“两手抓”,不少智慧工地、煤矿安全、危化品管理等安全生产场景下开始着重部署智能边缘分析设备——远景达AI边缘计算盒子,其不仅涵盖智能化
    的头像 发表于 01-04 15:42 339次阅读
    边缘<b class='flag-5'>计算</b>盒子护航<b class='flag-5'>企业</b>安全生产,边缘设备提高安全生产监管效率

    卫星通信序幕拉开,AI算力浪潮澎湃

    AI浪潮催生算力要求,基础设施需求持续提升。AIGC带来的超大算力需求拉动通信基础设施建设及扩容,光模块作为数据传输的基础部件,需求首先迎来爆发。
    发表于 01-03 10:22 323次阅读
    卫星通信序幕拉开,<b class='flag-5'>AI</b>算力<b class='flag-5'>浪潮</b>澎湃