0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI狂飙突进,存力需作先锋

脑极体 来源:脑极体 作者:脑极体 2023-06-03 09:43 次阅读

5月30日,在2023中关村论坛成果发布会上,《北京市加快建设具有全球影响力的人工智能创新策源地实施方案(2023-2025年)》正式发布。《实施方案》要求,支持创新主体重点突破分布式高效深度学习框架、大模型新型基础架构等技术,着力推动大模型相关技术创新。

这被业界视为中国将强力推动大模型发展的又一力证。事实上,近期从中央各部委到地方省、市,对于发展AI技术,把握大模型机遇的政策倾斜度不断上升,无论是政策出台密度还是整体战略高度,都达到了惊人的水平。

有理由相信,中国将实现一场以大模型为突破点的AI狂飙突进。自2017年开启新一代人工智能发展战略以来,中国将在目前机遇窗口中得到再发展,推动AI产业全面爆发。

我们都知道,抓住AI发展机遇,需要以技术突破与基础设施建设为基础,而提到AI产业的基础设施,普遍会提到AI芯片、深度学习框架、预训练大模型,却经常会忽略另一个关键问题:大模型将带来巨大的数据压力,数据存储也是AI发展进程中的支柱。

ChatGPT是这一轮AI爆发的引线,而接下来大模型规模化应用带来的数据难题,其实也早已写在了ChatGPT当中。

面对这种即将到来的压力,中国存力准备好了吗?

从ChatGPT看AI崛起带来的数据挑战

从2018年谷歌发布BERT,业界开启了预训练大模型之路。大模型的特点是训练数据规模与模型参数庞大,这将给存储带来严峻考验,这一点在ChaGPT中也展现无疑。

预训练大模型所谓的“大”,体现在模型的深度学习网络层数多、链接多、参数复杂,以及训练所用数据集种类更复杂,数据数量更丰富。在深度学习算法刚刚诞生时,主流模型只有几百万参数,而BERT发布时模型参数就已经过亿,将深度学习推进到了大模型阶段。到了ChatGPT这个阶段,主流模型已经有几千亿参数,甚至业界已经开始规划万亿模型。几年时间里,AI模型的参数提升几千倍,如此庞大的数据与模型都需要进行存储,这就成了AI爆发给存储的第一大考验。

此外,大家目前会广泛提到AI大模型采用了全新的模型结构,因此对非结构化数据会有更好的吸收效果与鲁棒性,这对于AI最终效果非常重要,但也带来一个衍生问题:我们需要妥善处理存储和调用海量的非结构化数据。比如说,ChatGPT在升级后加入了识图等多模态能力,因此其训练数据也需要在文本基础上加入大量图片,再比如自动驾驶车辆,每天要将大量实地测试视频存储起来作为模型训练依据。这些非结构化数据,带来了AI相关数据的海量增长,也带来了存储和处理这些数据的难题。

据统计,当前全球新增数据有80%都是非结构化数据,年复合增长率达到38%,应对多元化的数据激增,已经成为大模型时代必须克服的困难。

还有一个问题,大模型往往需要频繁读取和调用数据。ChatGPT的数据访问使用量达到单月17.6亿次,平均响应速度在10秒以内,并且AI模型的工作流程包括采集、准备、训练、推理四部分,每个阶段需要读写不同类型的数据。因此,大模型对存储性能也带来了要求。

此外,围绕ChatGPT展开的一系列数据主权、数据保护争议,也提醒我们AI大模型带来了数据安全方面新的风险。试想一下,如果不法分子攻击数据库,从而令大语言模型生成错误信息欺骗用户,其危害结果既严重且隐蔽。

综合来看,ChatGPT虽好,但其对数据存储的规模、性能、安全等方面都提出了挑战。当我们致力于发展大模型和类ChatGPT应用的时候,存储这关不得不过。

中国存力,准备好了吗?

最近几年,我们都在说算力就是生产力。但有算就要有存,存力的极限,也决定了数字化生产力发展的上限。

那么,在接下来必然出现的中国大模型狂飙突进中,中国存力是否已经做好准备了呢?很遗憾,从几个方面来看,今天中国存力的准备依旧不充分,需要进一步升级和发展。我们可以一同来关注一下中国存力存在的几个问题,看看他们是否对应了大模型带来的数据压力。

1.存力规模不足,限制AI产业发展上限

大模型将带来海量数据,那么第一要务就是将这些数据进行妥善存储。但在目前阶段,中国依旧有着存力不够,大量数据甚至无法进入存储阶段的问题。从2022年数据来看,中国数据生产量已经达到了惊人的8.1ZB,位居全球第二。但中国存力规模只有1000EB左右,这意味着数据可存储率仅为12%,绝大多数数据无法得到有效保存。当中国已经明确数据作为第五生产要素的地位,智能化发展需要依靠数据、充分利用数据,却有海量数据难以完成保存,这之间的问题不可谓不严重。中国仍然需要保持高速、大规模的存力增长,才能把握大模型带来的AI技术发展机遇。

2.海量数据冲击下,管理效率和存取效率低

上文讨论过,AI大模型带来的主要数据挑战,是海量数据的管理效率和处理存取效率低。提升存取效率,要求数据以高效率、低能耗的方式完成存写,但目前在中国仍然有75%的数据在使用机械硬盘。相对于闪存盘,机械硬盘容量密度低、数据读取慢、能耗高、可靠性差,相对来说,全闪存具有高密度、低能耗、高性能、高可靠的一系列优点,但中国全闪存替换依旧有较长的一段路要走。

3.多重数据隐忧,导致存储安全形势严峻

数据安全问题,已经成为AI公司乃至AI产业迫切关注的问题。在2020年美国的Clearview AI公司发生数据安全事故,造成2000多家客户的30亿条数据泄露。这个案例向我们展现了AI产业的数据安全形势十分严峻,我们必须从数据存储阶段开始重视安全。尤其当AI大模型在国计民生中扮演的角色愈发重要,就更需要存储提升安全能力,以应对各种可能存在的风险。

客观来看,中国存力已经保持了较高的发展速度,但在整体规模、全闪存占比以及技术创新能力上,依旧具有一定程度的不足。一场面向产业智能化需求与AI大规模落地的存储升级已经时不我待。

面向智能时代,存储产业的机遇与方向

结合ChatGPT所代表的AI大模型带给存储的压力,以及中国存力本身的发展现状,我们可以很清晰得出一个结论:中国存储必须支撑AI崛起,完成大规模的升级。

我们可以清晰看到存储产业的发展方向,这些方向的急迫性与广阔空间,构成了存储产业的重大机遇。

首先,需要扩大存力规模,加速全闪存建设。

全闪存替换机械硬盘的“硅进磁退”,是存储产业多年来的整体发展趋势。面对AI崛起的产业机会,中国存储产业需要加快全闪存替代的实施与落地,最大化发挥出全闪存高性能、高可靠等优势,以应对AI大模型带来的数据存用需求。

此外,还必须注意的一点是全闪存化分布式存储的机会正在加大。随着AI大模型的崛起,非结构化数据的爆发,数据重要性正在显著提升,同时AI已经深入到大型政企的生产核心,更多企业用户倾向进行本地化的AI训练,并且采用基于文件协议的数据存储,而不是数据放到公有云平台,这就导致分布式存储的需求得到提升和加强。

二者结合,持续快速推动存储产业的全闪化落地,就成为了中国存储产业发展的核心赛道。

其次,需要提升存储技术创新,适配AI模型的发展需求。

上文提到,AI带来的数据考验不仅仅是数据规模大,更是数据复杂性与应用流程多样性的挑战,因此存储的先进性必须得到进一步提升。比如说,为了应对AI频繁的数据访问需求,存储的读写带宽和访问效率都需要进行升级。为了配合AI大模型的数据需求,存储产业需要进行全方位的技术升级。

在数据存储格式方面,传统的数据格式,比如“文件”“对象”,最初的设计意图并不是匹配AI模型的训练需求,并且非结构化数据的数据格式不统一,使得在AI模型调用数据的过程中,会产生大量对文件格式进行重新理解、对齐的工作,进而造成模型运行效率下降,训练算力消耗增多。

为此,就需要在存储侧形成新的“数据范式(Data Paradigm)”。以自动驾驶训练为例,不同类型的数据都参与到了数据训练的进程当中,如果在存储侧采用了新的数据范式,就可以帮助各种数据统一起来,更好地适配到AI模型训练当中,从而加速自动驾驶车辆的训练工作。打个比方,如果把AI想象为一种新的动物,它需要吃一种新的饲料,如果把传统格式的数据喂给它,就会产生消化不良的问题,而新数据范式,就是在存储侧构筑完全适合AI的数据,从而让“喂养AI”的过程丝滑顺畅。

在AI开发工作中,数据管理的工作量占比巨大,不同数据集之间还会存在数据孤岛问题,而数据编织技术能够效应对这些问题。通过数据编织,可以让存储内置数据分析能力,把物理逻辑上散布的数据整合起来,形成全局视图化的数据调度和流动能力,从而有效管理AI带来的海量数据,达成数据利用效率的提升。

这些存储侧的技术创新,可以让数据存力与AI发展形成更加紧密的契合关系。

此外,需要将安全能力纳入存储本身,强化主动安全能力。

伴随着AI发挥的价值越来越大,数据安全问题带给企业用户的损失也更多。因此,企业必须提升数据安全能力。其中最重要的一点是要提升数据韧性,让存储本身具有安全能力,从源头上守护数据安全。接下来,更多数据韧性能力将被内嵌到数据存储产品中,例如勒索检测、数据加密、安全快照和AirGap隔离区恢复特征等。

值得注意的是,目前业界已经有了面向AI大模型崛起,进行存储全面升级的探索与尝试。华为存储通过高质量的全闪存产品,融合先进的存储技术、内嵌的安全能力,实现了存储创新与AI发展的紧密契合,相向而行。

整体而言,存储产业的发展与中国存力的进步,对于AI大模型的落地,乃至千行百业的智能化升级,都有着举足轻重的意义。脱离了存储的发展,AI带来的数据洪潮将难以妥善化解,AI技术甚至可能由于缺乏数据支撑,变成无本之源,无根之木。

智能时代的机遇与责任,恰好同时摆在了存储产业面前。在华为等优秀品牌的存力探索下,中国存储正迎来史无前例的机会,也在承担时代给予的责任。

很多业界专家认为,大语言模型是AI历史上的“iPhone时刻”,那么AI技术带来的存力升级潮,或许也将成为中国存储产业的里程碑时刻,成为一个黄金年代的序章。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4257

    浏览量

    85646
  • AI
    AI
    +关注

    关注

    87

    文章

    30072

    浏览量

    268337
  • 人工智能
    +关注

    关注

    1791

    文章

    46820

    浏览量

    237460
  • ChatGPT
    +关注

    关注

    29

    文章

    1548

    浏览量

    7471
  • 大模型
    +关注

    关注

    2

    文章

    2314

    浏览量

    2452
  • 存力
    +关注

    关注

    0

    文章

    23

    浏览量

    77
收藏 人收藏

    评论

    相关推荐

    科技启动首届内计算创新大赛

    内计算作为一项打破“内存墙”“功耗墙”的颠覆性技术,消除了与算的界限,相比CPU或GPU能够实现更高计算并行度、更大专用算,达成数量级的能效提升。在AI加速落地的趋势下,学术界及
    的头像 发表于 11-21 10:44 86次阅读

    企业AI租赁是什么

    企业AI租赁是指企业通过互联网向专业的算提供商租用所需的计算资源,以满足其AI应用的需求。以下是对企业AI
    的头像 发表于 11-14 09:30 129次阅读

    科技荣获2024中国AI层创新企业

    科技入榜【2024中国AI层创新企业】,凭借在创新内计算芯片领域的高能效算创新实践和亮眼市场表现获得智库专家评委的认可。
    的头像 发表于 11-06 15:30 301次阅读

    算一体架构创新助力国产大算AI芯片腾飞

    在湾芯展SEMiBAY2024《AI芯片与高性能计算(HPC)应用论坛》上,亿铸科技高级副总裁徐芳发表了题为《算一体架构创新助力国产大算AI芯片腾飞》的演讲。
    的头像 发表于 10-23 14:48 224次阅读

    与算并重:数据时代的双刃剑

    在2024年的今天,人工智能(AI)技术已经全面渗透至我们生活的方方面面,从医疗诊断到智能交通,从金融分析到智能家居,AI正以前所未有的速度重塑我们的世界。这一变革背后,算
    的头像 发表于 10-08 16:00 707次阅读

    ODCC 2024:AI挑战,PTM商业模式助力企业级存储创新实践

    9月3日至4日,2024开放数据中心大会(以下简称“ODCC”)在北京召开。江波龙企业级存储事业部市场总监曹浔峰受邀出席,并发表了题为《大模型AI应用对挑战与创新实践》的精彩演讲,深入剖析了当
    的头像 发表于 09-06 08:02 461次阅读
    ODCC 2024:<b class='flag-5'>AI</b><b class='flag-5'>存</b><b class='flag-5'>力</b>挑战,PTM商业模式助力企业级存储创新实践

    内计算原理分类——数字内计算与模拟内计算

    数字内计算与模拟内计算各有优劣,都是算一体发展进程中的重点发展路径,数字内计算由于其高速、高精度、抗噪性强、工艺技术成熟、能效比高等特点,更适用于大算
    的头像 发表于 05-21 16:26 2191次阅读
    <b class='flag-5'>存</b>内计算原理分类——数字<b class='flag-5'>存</b>内计算与模拟<b class='flag-5'>存</b>内计算

    科技助力AI应用落地:WTMDK2101-ZT1评估板实地评测与性能揭秘

    中得到彰显。算一体架构的突破传统冯·诺依曼架构的范式探索成为重要趋势。这种架构改变了算分离的局面,类似于“在家办公”一样,消除了数据“往返通勤”的能量消耗和时间延迟,大大提高了AI
    发表于 05-16 16:38

    内计算WTM2101编译工具链 资料

    工艺条件下将AI计算效率提升2个数量级,充分满足快速发展的神经网络模型指数级增长的算需求。 witin_mapper是知科技自研的用于神经网络映射的编译软件栈,可以将量化后的神经网络模型映射
    发表于 05-16 16:33

    联发科技推出天玑AI先锋计划

    联发科技(MediaTek)近日重磅推出了一项名为“天玑AI先锋计划”的创新举措。这一计划旨在汇聚全球开发者的智慧与力量,共同推动AI技术的发展和应用。通过整合联发科技与业界生态伙伴的优质资源,该计划为敢于创新、勇于探索的开发者
    的头像 发表于 05-08 10:55 647次阅读

    商汤科技:AI 2.0时代的“新质生产工具”

    2024年全球开发者先锋大会(GDC)在上海盛大开幕,汇聚了全球顶尖的开发者与科技创新者。商汤科技董事长兼CEO徐立受邀出席,并发表了题为《AI 2.0时代的“新质生产工具”》的主旨演讲,引发了广泛关注和深度思考。
    的头像 发表于 03-25 09:28 595次阅读

    新火种AI|百度AI赚翻了!全年营收1346亿,碾压OpenAI成盈利第一?

    狂飙AI风口,为什么百度赚到钱了?
    的头像 发表于 03-02 09:10 970次阅读
    新火种<b class='flag-5'>AI</b>|百度<b class='flag-5'>AI</b>赚翻了!全年营收1346亿,碾压OpenAI成盈利第一?

    AI大步向前,先进加速度追赶

    赛迪最新发布的《中国先进发展研究报告》(下称“报告”)指出,目前中国发展存在一定“被忽视”现象,预计到2025年,将有超过420EB的巨大
    的头像 发表于 12-25 16:25 503次阅读

    浅谈为AI大算而生的算-体芯片

    大模型爆火之后,算一体获得了更多的关注与机会,其原因之一是因为算一体芯片的裸算相比传统架构的AI芯片,能带来十倍以上的提升。
    发表于 12-06 15:00 365次阅读
    浅谈为<b class='flag-5'>AI</b>大算<b class='flag-5'>力</b>而生的<b class='flag-5'>存</b>算-体芯片

    2023 EDGE AWARDS全球创新评选 | 知科技上榜“年度潜在价值企业”

    12月2日,由钛媒体主办的2023 T-EDGE全球创新大会公布了2023“EDGE AWARDS全球创新评选”榜单。 凭借在内计算芯片领域率先突破百万级应用、加速算创新的先锋表现,知
    的头像 发表于 12-04 17:15 577次阅读
    2023 EDGE AWARDS全球创新评选 | 知<b class='flag-5'>存</b>科技上榜“年度潜在价值企业”