0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI时代,存强则强

脑极体 来源:脑极体 作者:脑极体 2024-03-22 09:17 次阅读

2024年,全球各个国家、地区,乃至千行万业都迎来了对AI技术空前高涨的热情与关注。在中国,两会政府工作报告中首次提出了“人工智能+行动”;在欧盟,欧洲会议通过了具有里程碑意义的《人工智能法案》;在中东地区,迪拜通过了最新的人工智能战略,希望打造全球AI中心,沙特建立了数据和人工智能管理局(SDAIA),负责领导国家的AI战略。

今天,AI时代已经真正来临。与此同时,全球各方,产学各界也意识到一个问题:AI绝不仅仅是模型和算法的问题,而是对整个数字化基础设施的全新考验,是一场算力、存力、运力的综合比拼。

其中,存储是一个无法被AI时代忽视的支点。AI大模型对存储提出了哪些需求?什么样的存储,才能够称为AI存储?存储产业如何在新时代找到新路径?

wKgaomX8MOCASEa3AABGy73R4k0284.jpg

(华为数据存储产品线总裁周跃峰)

带着这些问题,我们来到了华为中国合作伙伴大会2024。与华为数据存储产品线副总裁樊杰进行深度交流,了解华为存储走进AI时代的思考与行动。

在本届大会中,华为提出了“以存强算、以存强训、以存强安”的理念,希望为业界打造领先数据基础设施,推进全场景闪存化。在这个节点,回顾华为存储一路走来的战略布局,会发现它的每一步都与AI时代的脉搏紧密相连,提前预判产业走势,最终以极高的效率对大模型训推、数据觉醒等需求给出了精准回应。

当存储产业,面向AI时代的漫漫旷野时,华为存储已经率先实现了AI ready。

我们可以将其定义为一次拓路,帮助存储产业拓开AI之路,帮助全球用户拓开存力之路。

不妨一起来回顾一下,华为存储的AI拓路是如何完成的。通过这个过程,我们能够共同推导出一个结论:AI时代,存强则强。

AI时代,存强则强

在以深度学习为基底的本次AI复兴中,智能与数据间的联接价值达到了史无前例的高度。主流AI技术的工作机理,无不建立在算法对数据进行充分学习的基础上。因此,数据的规模庞大、质量高、流动效率强,对AI技术的发展起到了决定性的意义,而数据的保管、流动、安全水平,都建立在存储能力的基础上。

从这个逻辑出发,我们可以发现目前AI技术涉及的各个阶段,都出现了存弱则AI弱,存强则AI强的现象。

首先是在AI模型最基本的训练阶段。

可以看到,随着AI大模型的兴起,大规模集群化训练已经成为主流。而在AI训练集群场景下,任何一个瓶颈点都会影响到整个集群的效率,其中存储的表现尤为关键。比如说,GPU大量时间都在加载数据,如果期间出现加载失败,就需要中断后进行断点重新录入,耗费大量时间。传统的存储解决方案没有适配AI训练的存力加持,会因为存储表现不佳全面拖慢整个AI训练集群的表现。

因此,越来越多的专家与企业认为,AI训练需要专用的存储。比如说,英伟达官方提供的AI训推IT参考架构,就专门强调了大模型训练需要使用外置的专业高性能共享存储,以此来提升训练过程的效率与可靠性。这是因为在万卡集群这样的大规模训练场景下,传统的存储模式会导致单个盘的故障,拖累整体数据传输效率,并且定位故障需要耗费较长的时间,导致训练工作频繁暂停。而让AI算力直通存储的新模式,则可以大幅提升AI训练集群的数据读取效率,进而缩短模型训练时间。要知道,在今天的情况下,AI大模型的训练效率就是千行万业的产业效率。除此之外,适配AI训练的存储,最好还可以实现更高效的数据管理,更简便的数据清洗,以此来全方位强化AI训练工作。

wKgZomX8MOGAaEMdAABeTHIAhvY742.jpg

其次,是在企业数据的保存与流通阶段。

伴随着AI技术的崛起,企业的数据价值愈发宝贵,而企业所需要存储的数据量在指数级增长。且原本只需要存放的冷数据,也因为AI技术的加入而变成了温数据,甚至热数据,需要随时参与数据流动。与此同时,在数据资产化的浪潮下,企业也希望数据具有更强的流通能力,从而真正发挥资产价值。在一系列AI技术带来的衍生场景中,企业都需要更强的存储能力来筑牢数据资产,实现数据资产的可流通属性。

再次,是中小企业数字化进程中的数据成本问题。

在AI技术的发展进程中,我们希望智能化的价值是普惠多元的。但客观来看,中小企业想要获得同等的AI竞争力,需要付出更大的数字化基础设施建设成本。如何实现中小企业的存储升级普惠,尤其是完成全闪存的更迭,也是存储行业面临的挑战。

最后,是数据安全风险加剧的问题。

在数据资产价值不断升级,且AI大模型需要高频次调动数据的新阶段,企业面临着以勒索病毒为代表的更深刻、更具体的数据安全问题。数据保护需要从被动保护向主动安全跃迁。

从以上种种不难看出,在智能化体系中,数据存在居于底座地位,并且牵一发动全身。适配AI时代的存储,不仅是单一存储技术的升级,更是对经济智能化所产生综合存储升级的回应。

存强则AI强,存强则数据强,已经成为AI时代真实而深刻的风向。

智能大势,筑基为先

在这样的智能化大势下,存储产业应该如何回应?如何抓住重点,破局谋篇?

华为存储的选择,是首先为AI大模型建立起存力底座,让AI技术所涉及的各类非结构化数据都能统一入湖。有了基础底座,向上的一切架构延展、功能添加才不会变成空中楼阁。

面对智能化的大势所趋,华为存储选择先筑牢基础。在不久之前的MWC 2024期间,华为存储发布了AI数据湖、全场景数据保护和DCS全栈数据中心三大解决方案。AI数据湖,就是构建华为存储为AI时代构建的存力底座。

具体而言,华为AI数据湖解决方案,具备数据管理DME、一站式知识生成工具链eDataMate、数据编织Data Fabric,以及OceanStor A800/A310等全新AI存储底座。其中新一代高性能NAS存储OceanStor A800,可以通过数控分离架构、OceanFS高性能并行文件系统、双向灵活扩展等能力,支撑大规模AI训练集群的实时调度,成为AI大模型的存力底座。

wKgZomX8MOKAPGdtAALHGN7fhHk590.jpg

AI数据湖对AI时代能够起到哪些层面的加持与支撑?我们可以分三个层面来分析。

首先,AI训练必须使用大量非结构化数据,尤其是图形类数据。AI数据湖具有强大的数据收集能力,可以确保所有数据种类都能入湖,从而使能AI训练场景下,数据的全局可视、可管、可用,让训练数据归集、预处理和训练的效率倍增,进而全面提升大模型训练效率,缩短训练时间。

其次,AI数据湖具有数据清洗能力,从而可以通过先清洗再进行训练,缩短AI训练的等待时间。数据清洗能力的加入,让存储能力与AI训练场景的适配度进一步提升。

此外,OceanStor A800/A310等全新AI存储产品,具备TB级的带宽,能够实现极强的数据加载能力,可以全面提升数据的加载速度,从而兼容到分钟级别的数据加载。通过数据加载能力的升级,AI训练可以更加高效准确,让宝贵的AI算力得到更高的使用效率。

整体而言,面向突然爆火的AI大模型,华为存储基于长时间对AI存储的理解与布局,用最快速度给出了回应。AI数据湖就是这种回应的集中表现,其通过软硬件结合搭建起了完整的AI存储体系。这一体系架构具备强大的AI训推效率,以及优秀的可扩展性,能够满足未来几年的持续演进,与AI大模型技术发展并轨发展。

筑牢基础,是破局一个新趋势、新需求的关键。AI数据湖,就是华为存储为AI时代筑下的基础。

它会成为一把钥匙,一个枢纽,容纳华为存储的多元发展思路,进而打开企业存储升级的多种可能性。

三流合一,存以致用

面向AI时代,存储产业的需求是非常多元复杂的。其中容纳了AI大模型的训练推理需求,也有中小企业的普惠发展需求,以及贯穿全行业的存储安全需求等。因此,华为存储也执行了面向多元需求的发展策略。

我们可以将这种策略归纳为存力升级的“三流合一”

第一条支流,AI ready。

我们前文所重点讨论的AI存储能力,已经成为华为存储的核心差异化竞争力。可以说,通过具有前瞻性的布局与产品打造,华为存储在行业内率先实现了AI ready。未来,面向AI场景的存储能力将愈发重要。AI相关布局也会持续融合为华为存储的差异化竞争力。

第二条支流,全场景数据安全。

在AI技术爆发式发展,数据价值不断提升的今天,也要看到安全隐忧也被同步放大。从近两年的情况看,勒索病毒持续泛滥,并且已经真实危害到了金融、电力等涉及国计民生的核心产业。面向存储的高安全需求,华为首创了存储与网络协同的多层联动勒索攻击防护(MRP)解决方案。通过2道防线,6层防护来构建全场景的数据安全能力。这一能力已经美国权威机构Tolly认证,可以100%实现防勒索病毒有效。随着安全能力在数字化体系中的价值占比不断提升,存储原生安全将成为新的行业战略高点。

第三条支流,全场景闪存普惠。

伴随着各行业对数据存储综合能力需求的提升,越来越多中小企业希望进行全闪存升级。面对这一需求,华为在业界率先提出了闪存普惠理念,并且在目前阶段,发布了含OceanStor Dorado 2100、OceanProtect X3000等全闪存系列产品,可以为企业带来性能十倍,更好能耗比,且综合成本没有显著变化的全闪存产品,助力中小企业的数字化升级。

为应对AI时代带来的一系列变化,满足AI训推、闪存普惠、全场景安全等核心需求,华为打造了综合性的全场景数据存储产品与解决方案。其中富含的战略目标,用华为自己的总结可以归纳为——以存强算,以存强训,以存强安

在华为存储“三流合一”的发展节奏背后,核心是应对时代变化、需求变化的“存以致用”。只有给出准确的技术升级与产品打造,才能让不同需求、不同行业、不同发展阶段的企业,都能够用存储强健自身的智能化选择。

企业有了更有用,更好用的存储能力,AI时代才能够从旷野变成航道。

拓路旷野,设立航标

AI ready、全闪存普惠,以及全场景安全等能力的构建,不仅强化了华为存储自身的市场价值,更对整个存储产业起到了积极的影响。

在今天的存储产业眼中,AI时代还是一片朦胧的旷野。业界对于AI需要适配的存储产品具有宏观上的共识,但缺乏具体的可执行方案。

从眺望旷野到抵达目标,行业需要一条路。需要先进的产品作为发展导向,需要强大的技术能力作为发展标准,需要丰富的客户实践作为发展依据。这种情况下,华为存储做的事情其实就是拓路,通过在全新的AI旷野踏出一条路,华为为全球存储产业设立了航标。

面向AI时代的航标,具有两重价值。首先从横向的客户价值层面看,华为存储的AI ready让全球客户有了面向AI时代的数据底座选择,同时也有了全力智能化发展的底气与信心。

一家新加坡的TOP级银行,基于华为存储提供的相关能力构建了金融智能化能力。东南亚的TOP级电商,在华为存储的帮助下搭建了千卡级别的AI数据湖底座。在中国市场,科大讯飞与华为存储合作,用AI数据湖搭配400G网络,大幅提升了星火大模型的训练效率。

丰富的客户实践表明,华为存储在AI时代展现出了更强的竞争力,不仅其性能好、可靠性高的产品优势得到进一步释放,更以对AI场景的理解获得了新的机会。

在全球市场上,华为存储已经是当之无愧的第一梯队。根据3月4日Gartner发布的《2024年Gartner Peer Insights主存储客户之声》报告,华为存储在全球厂商中脱颖而出,独家获得了全球“客户之选”。

wKgaomX8MOSAVDZOAACPnYCxVUE526.jpg

本次评选共有业界主流的21家厂商参与,华为OceanStor存储收到来自亚太、欧洲、中东等区域的数百个客户评价,覆盖运营商、金融、教育、医疗、能源、制造等行业。客户一致认为华为存储最符合自身期待,提供了全球最佳的使用体验。这一幕对于中国存储产业来说可谓是前所未有。

而从行业纵向发展的角度看,华为存储率先打造了符合AI时代需求的技术架构与产品体系,让行业有了向前发展的航标。

比如说,可以看到华为在业界率先提出了AI数据湖概念,已经起到了引领市场的作用。全球各大厂商都在加强对AI存储的研发投入,从而带来整个AI时代的进一步增长,实现存算之间更加平衡的适配。

总结来看,通过洞察AI时代的存力需求,打造AI存储基础设施,推进“三流合一”的发展策略,华为存储一步步实现了面向AI旷野的拓路。

在其努力下,存力不再是滞后与缓慢发展的一环,AI时代的基础设施巨变有了齐头发展的可行性。

AI时代,存强则强。换言之,我们可以以存力强AI,以存力强时代。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4257

    浏览量

    85644
  • AI
    AI
    +关注

    关注

    87

    文章

    30072

    浏览量

    268331
  • 存力
    +关注

    关注

    0

    文章

    23

    浏览量

    77
收藏 人收藏

    评论

    相关推荐

    亿铸科技入选毕马威中国“芯科技”新锐企业50

    日前,毕马威中国“芯科技”新锐企业50榜单正式揭晓,亿铸科技凭借在基于算一体的AI大算力芯片领域的创新实力和卓越表现,荣登“芯科技”新锐企业50榜单。
    的头像 发表于 11-18 10:15 113次阅读

    中科创达荣登北京民营企业百和科技创新百榜单

    日前,北京市工商联与通州区委、区政府共同举办“2024北京民营企业百”发布会,正式揭晓了北京民营企业百“1+4”榜单。作为全球领先的智能操作系统及端侧智能产品和技术提供商,中科创达荣耀入选“北京
    的头像 发表于 11-14 11:44 252次阅读

    端到端让智驾强者愈时代来临?

    编者语: 「智驾最前沿」微信公众号后台回复: C-0572 ,获取本文参考报告:《信达证券:端到端革命开启,强者愈时代即将来临》pdf下载方式。 随着科技进步和汽车技术的发展,智能驾驶时代已然
    的头像 发表于 10-24 09:25 421次阅读
    端到端让智驾强者愈<b class='flag-5'>强</b><b class='flag-5'>时代</b>来临?

    成功荣登两大榜单

    凭借其深厚的技术积累和创新能力,不断推出高性能、高质量的产品和解决方案,成功荣登两大榜单,这是对普卓越的技术实力和应用层面的肯定。
    的头像 发表于 09-13 10:34 949次阅读

    《财富》中国科技50出炉 华为 比亚迪 宁德时代等入榜

    《财富》杂志在2024年8月21日正式公布了2024年《财富》中国科技 50 ”榜单,很多我们熟知的科技企业榜上有名,比如华为、比亚迪、宁德时代、小米、阿里巴巴、神州信息、字节跳动等公司。据财富
    的头像 发表于 08-23 17:40 1425次阅读

    宋仕论道之深圳华强北

    SlkorKinghelm华强北宋仕先生宋仕是萨科微半导体和金航标电子这两家公司的总经理,在他的强力带领下,萨科微和金航标的营收数据连续两年超过100%的增长!宋仕先生发布“宋仕
    的头像 发表于 06-27 08:12 518次阅读
    宋仕<b class='flag-5'>强</b>论道之深圳华强北

    京东官宣:刘AI数字人即将开启直播

    4月15日下午,“京东黑板报”宣布刘东的AI数字人即将开启直播的消息。
    的头像 发表于 04-16 15:22 570次阅读

    宋仕论道”系列讲座的文章暨宋仕先生研究华强北模式和华强北文化的系列文章,再次迎来更新!

    ****“宋仕论道”系列讲座的文章暨宋仕先生(Huaqiangbei Songshiqiang)研究华强北模式和华强北文化的系列文章,再次迎来更新!《宋仕论道华强北科技创新与电子信息产业生态
    发表于 03-26 10:36

    AI时代怎么样不被淘汰?讯飞AI鼠标助力你在AI时代成长

    功能的智能鼠标,将成为你跻身AI时代的利器。 下面来聊聊讯飞AI鼠标都有哪些令人惊艳的AI功能吧 1.星火认知大模型AI助你探索无限可能 讯
    的头像 发表于 03-23 11:41 656次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>时代</b>怎么样不被淘汰?讯飞<b class='flag-5'>AI</b>鼠标助力你在<b class='flag-5'>AI</b><b class='flag-5'>时代</b>成长

    一图看懂星河AI数据中心网络,全面释放AI时代算力

    华为中国合作伙伴大会 | 一图看懂星河AI数据中心网络,以网算,全面释放AI时代算力
    的头像 发表于 03-22 10:28 701次阅读
    一图看懂星河<b class='flag-5'>AI</b>数据中心网络,全面释放<b class='flag-5'>AI</b><b class='flag-5'>时代</b>算力

    双面布局贴补,FPC焊接很受伤

    高速先生成员--王辉东 FPC上有器件的位置添加补,按理说是合情合理,为什么加了补,就无法焊接。请走进今天的案例,为你揭秘,看看你是否也有相似的经历。 生活就像巧克力,你永远不知道下一
    发表于 03-11 17:57

    PADS如何画FPC柔性板补

    最近需要画FPC排线,不知道在PADS里面补层如何画,有知道的同学麻烦告知一下,谢谢!
    发表于 01-17 09:24

    宋仕论道之华强北后山寨手机时代(三十六)

    和其他可穿戴智能设备。这些产品围绕着手机形成了一个多样化的应用生态系统,这也让华强北现在的数码市场,还有一些生存的空间,但现在在政府的打击下和市场的淘汰下,在后山寨手机时代,不得不靠蓝牙耳机TWS还
    发表于 01-04 10:41

    数字经济守护者丨芯盾时代入选“2023北京数字经济企业百

    近日,北京企业联合会、北京市企业家协会正式发布了“2023北京企业百”系列榜单。 芯盾时代 作为领先的零信任业务安全产品方案提供商,凭借服务数字经济发展的经营理念、持续提升的数字化服务能力、助力
    的头像 发表于 12-14 11:40 471次阅读
    数字经济守护者丨芯盾<b class='flag-5'>时代</b>入选“2023北京数字经济企业百<b class='flag-5'>强</b>”

    【喜讯】芯盾时代上榜“2023北京专精特新企业百

    近日,北京企业联合会、北京市企业家协会正式发布了 “2023北京企业百” 榜单。芯盾时代作为领先的零信任业务安全产品方案提供商,凭借领先的产品和服务体系、突出的创新能力和良好的经营业绩,从众
    的头像 发表于 12-07 10:55 491次阅读
    【喜讯】芯盾<b class='flag-5'>时代</b>上榜“2023北京专精特新企业百<b class='flag-5'>强</b>”