0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

华为发布大模型时代AI存储新品

华为 来源:未知 2023-07-14 15:20 次阅读

7月14日,华为发布大模型时代AI存储新品,为基础模型训练、行业模型训练,细分场景模型训练推理提供存储最优解,释放AI新动能。

企业在开发及实施大模型应用过程中,面临四大挑战:

● 首先,数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右;

● 其次,多模态大模型以海量文本、图片为训练集,当前海量小文件的加载速度不足100MB/s,训练集加载效率低;

● 第三,大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天;

● 最后,大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。

华为顺应大模型时代AI发展趋势,针对不同行业、不同场景大模型应用,推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。

401c3654-2216-11ee-962d-dac502259ad0.jpg华为数据存储产品线总裁 周跃峰

OceanStor A310深度学习数据湖存储,面向基础/行业大模型数据湖场景,实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理。

OceanStor A310单框5U支持业界最高的400GB/s带宽以及1200万IOPS的最高性能,可线性扩展至4096节点,实现多协议无损互通。全局文件系统GFS实现跨地域智能数据编织,简化数据归集流程;通过近存计算实现近数据预处理,减少数据搬移,预处理效率提升30%。

FusionCube A3000训/推超融合一体机,面向行业大模型训练/推理场景,针对百亿级模型应用,集成OceanStor A300高性能存储节点、训/推节点、交换设备、AI平台软件与管理运维软件,为大模型伙伴提供拎包入住式的部署体验,实现一站式交付。

FusionCube A3000开箱即用,2小时内即可完成部署。训/推节点与存储节点均可独立水平扩展,以匹配不同规模的模型需求。同时FusionCube A3000通过高性能容器实现多个模型训练推理任务共享GPU,将资源利用率从40%提升到70%以上。FusionCube A3000支持两种灵活的商业模式,包括华为昇腾一站式方案,以及开放计算、网络、AI平台软件的第三方伙伴一站式方案。

在本次活动中,中科院自动化所紫东太初大模型中心常务副主任、武汉人工智能研究院院长王金桥;科大讯飞副总裁、AI工程院院长潘青华;智谱AI算法工程师陶治华分别就AI大模型的应用实践以及基于华为AI存储的联合创新发表主题演讲。

▼左右滑动查看更多现场嘉宾▼

403e1788-2216-11ee-962d-dac502259ad0.jpg中科院自动化所紫东太初大模型中心常务副主任

武汉人工智能研究院院长王金桥

4060802a-2216-11ee-962d-dac502259ad0.jpg科大讯飞副总裁、AI工程院院长潘青华

408071e6-2216-11ee-962d-dac502259ad0.jpg智谱AI算法工程师 陶治华

40a52dce-2216-11ee-962d-dac502259ad0.png

华为数据存储产品线总裁周跃峰表示:大模型时代,数据决定AI智能的高度。作为数据的载体,数据存储成为AI大模型的关键基础设施。华为数据存储未来将持续创新,面向AI大模型时代提供多样化的方案与产品,携手伙伴共同推进AI赋能千行百业。

40f7ec9e-2216-11ee-962d-dac502259ad0.jpg

41190348-2216-11ee-962d-dac502259ad0.jpg

415a7c6a-2216-11ee-962d-dac502259ad0.jpg

4188806a-2216-11ee-962d-dac502259ad0.jpg

41a88996-2216-11ee-962d-dac502259ad0.jpg


原文标题:华为发布大模型时代AI存储新品

文章出处:【微信公众号:华为】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 华为
    +关注

    关注

    215

    文章

    34308

    浏览量

    251186

原文标题:华为发布大模型时代AI存储新品

文章出处:【微信号:huaweicorp,微信公众号:华为】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    华为数据存储发布eKitStor SSD盘类新品

    近日,华为数据存储正式发布HUAWEI eKitStor SSD盘类产品,标志着华为正式进军部件化存储产品的新赛道。 此次
    的头像 发表于 10-24 11:15 412次阅读

    【「大模型时代的基础架构」阅读体验】+ 未知领域的感受

    国庆前就收到《大模型时代的基础架构》一书,感谢电子发烧友论坛。欢度国庆之余,今天才静下心来体验此书,书不厚,200余页,彩色图例,印刷精美! 当初申请此书,主要是看到副标题“大模型算力中心建设指南
    发表于 10-08 10:40

    模型时代的算力需求

    现在AI已进入大模型时代,各企业都争相部署大模型,但如何保证大模型的算力,以及相关的稳定性和性能,是一个极为重要的问题,带着这个极为重要的问
    发表于 08-20 09:04

    共启全新AI时代!拓维信息精彩亮相华为开发者大会2024

    举措标志着AI与操作系统(OS)的深度融合,预示着一个全新AI时代的来临!作为华为“鲲鹏/昇腾+行业大模型/云+开源鸿蒙”全方位战略合作伙伴
    的头像 发表于 06-26 08:14 443次阅读
    共启全新<b class='flag-5'>AI</b><b class='flag-5'>时代</b>!拓维信息精彩亮相<b class='flag-5'>华为</b>开发者大会2024

    “携手走进AI时代” Meteor Lake新品发布

    2024年5月22日,深圳市吉方工控有限公司、英特尔(中国)有限公司联合主办的“携手走进AI时代”Meteor Lake新品发布会,在深圳市机场希尔顿逸林酒店盛大召开。本次
    发表于 05-23 16:38 265次阅读
    “携手走进<b class='flag-5'>AI</b><b class='flag-5'>时代</b>” Meteor Lake<b class='flag-5'>新品</b><b class='flag-5'>发布</b>会

    为大模型专门优化 浪潮信息发布分布式全闪存储AS13000G7-N系列

    DataTurbo,通过盘控协同、GPU直访存储、全局一致性缓存等技术为AI模型数据归集、训练、数据归档与管理等阶段提供强大存储支撑能力,助力用户加速大
    的头像 发表于 05-10 16:37 408次阅读
    为大<b class='flag-5'>模型</b>专门优化 浪潮信息<b class='flag-5'>发布</b>分布式全闪<b class='flag-5'>存储</b>AS13000G7-N系列

    AI快讯:华为助力金融行业加速拥抱AI 马斯克xAI 展示首个多模态模型

    数据基础设施峰会上华为正式发布四大AI创新解决方案,包括中心AI、边缘AIAI数据保护、
    发表于 04-15 12:32 398次阅读

    最近国产的rsic-v的mcu有什么新品发布

    如题,最近国产的rsic-v的mcu有什么新品发布。那种超低功耗的!
    发表于 04-13 07:58

    发布行业首款AI模型三摄智能锁,全系列产品AI加持,萤石2024春季新品发布会很AI

    过去一年AI等技术爆火,特别是AI模型的出现,刺激全屋智能全面迈入刚需时代。家居行业第一梯队的公司纷纷不甘落后,用AI赋能智能家居升级实现
    的头像 发表于 04-01 16:31 641次阅读
    <b class='flag-5'>发布</b>行业首款<b class='flag-5'>AI</b>大<b class='flag-5'>模型</b>三摄智能锁,全系列产品<b class='flag-5'>AI</b>加持,萤石2024春季<b class='flag-5'>新品</b><b class='flag-5'>发布</b>会很<b class='flag-5'>AI</b>

    海信发布电视行业最强中文大模型,开启电视AI时代

    3月15日,“海信视像 AI美好生活”全场景显示新品发布会上,海信正式发布了自研星海大模型,这也是目前电视行业最强中文大
    的头像 发表于 03-18 14:24 348次阅读

    猎户星空发布强大AI模型

    近日,猎户星空在2024·傅盛的开年AI大课暨猎户星空企业应用大模型发布会上,正式发布了其最新研发的大模型。这个大
    的头像 发表于 01-22 14:31 662次阅读

    AI模型怎么解决芯片过剩?

    AI模型
    电子发烧友网官方
    发布于 :2024年01月02日 15:42:05

    AI模型可以设计电路吗?

    AI模型
    电子发烧友网官方
    发布于 :2024年01月02日 15:09:29

    模型时代必备存储之HBM进入汽车领域

    模型时代AI芯片必备HBM内存已是业内共识,存储带宽也成为AI芯片仅次于算力的第二关健指标,甚至某些场合超越算力,是最关键的性能指标,而汽
    发表于 12-12 10:38 790次阅读
    大<b class='flag-5'>模型</b><b class='flag-5'>时代</b>必备<b class='flag-5'>存储</b>之HBM进入汽车领域

    中科曙光推出AI模型存储解决方案

    11月29日,“数智创新 AI未来”2023中国数据与存储峰会在北京举办。曙光存储受邀发表主题演讲,详述面向AI模型的数据
    的头像 发表于 11-30 10:58 767次阅读