0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

曙光存储的“引力弹弓”,让AI向产业宇宙加速狂奔

脑极体 来源:脑极体 作者:脑极体 2024-08-30 09:29 次阅读

wKgaombQoPaAQx4cAAqGH032bbs530.jpg

《流浪地球》中,科学家利用木星的“引力弹弓”效应,为地球加速,成功脱离危机,是整部电影最激动人心的高潮段落。

加速,不仅在科幻电影中揪人心弦,对AI行业也十分重要。比如说,千亿级大模型必须写容错点checkpoint,一旦数据存储发生灾难性故障,导致AI训练中断,对于一些着急上线的企业来说,时间就是生命线,可能造成难以弥补的损失。所以说,确保AI快速稳定地进行,是产业智能化的必要条件。

为AI加速,存储也可以起到“引力弹弓”效应。

试想一下,当你正在滑滑板,有一个速度很快的人从你旁边经过,拉了你一把,就如同弹弓弓弦一样,给了你一个加速前进的力。存力之于AI,就起到了类似的作用。存力和算力互相协同,通过存力来缩短数据读写时间,减少算力的空转等待时间,可以有效提升AI大模型的训练效率。

不过,想充分释放存力的“引力弹弓”效应,传统存储的性能、可靠性等,就有些力不从心了。锻造一张最适合AI的“引力弹弓”,曙光存储出手了。

wKgZombQoPeAONJbAAIB-H_4-yk393.jpg

此前,曙光推出的智存产品搭载五级加速方案,已经在政务、科研、金融、医疗等行业场景,相继落地。就在近期,又宣布与智元机器人合作,成为具身智能领域的存力伙伴。

在曙光存储的存力底座上,越来越多的AI模型/能力,正加速奔向产业宇宙。我们就跟随这张“引力弹弓”的发射方向,来一场奔赴星辰大海的AI之旅吧。

wKgaombQoPiAA2QUAAJECkVcdOQ701.jpg

“引力弹弓”效应,利用了宇宙中天体的引力,当航天器进入引力影响范围时,被拉了一把,行程就会开始加速。

对AI来说,存储也自带加速“引力”吗?答案是肯定的。

至少从四个方面,存储可以“拉”AI一把:

首先是性能。计算越复杂,对存储性能和带宽的要求越高,存储必须足够快,才能匹配上GPU或AI芯片,否则就会导致算力空载、空转或等待。在模型训练中断时从checkpoint快速写回,也可以提高AI计算效率。

其次是质量。“garbage in,garbage out(垃圾进,垃圾出)”,存储承载的数据质量,直接影响到大模型训练的效果,随着大模型需要“咀嚼”的数据规模、类型越来越多,AI存储必须具备对海量规模、异构等数据的高效吞吐和处理能力。

第三是安全。存储系统的管理审计、权限管理等,从数据I/O通路上保证用户数据的安全可靠,不会有篡改、不可追溯等问题,也是AI用户十分看重的。

第四是优化。存储可以结合用户业务,进行一些个性化的微调与适配,比如了解到业务数据中的大文件多还是小文件多,随机访问多还是顺序访问多,在此基础上进行参数调整,可以针对性优化,提升业务体验。

因此,存储在AI基础设施中的优先级不断提高。

去年大模型爆火初期,AI行业用户一开始只关注存储产品的容量,后续则慢慢意识到存储的性能、开放兼容性、AI应用适配性等更多维度指标的重要性。

从能用到智用,存储之于AI的“引力”正越来越大,起到了越来越重要的加速作用。

wKgaombQoPmAYtyBAAIoroJ8Ufs936.jpg

AI存储对行业用户的吸引力,越来越大,但动辄万亿参数、万卡集群的AI大模型,对存储的要求也指数级上升。

市面上是否有超强AI存力的产品,像木星推动地球一样,发挥出强大天体才具备的“引力弹弓效应”呢?曙光决定来打造一个。

wKgZombQoPmAIPgIAAM5QLn43p0439.jpg

曙光ParaStor分布式全闪存储,作为最懂AI的存储产品,核心特点就是一个字:快。

可以将AI整体表现提升20倍以上,让数据无需等待,AI也就快人一步。具体是怎么做到的?曙光存储运营总监石静向我们解密。

这张最适合AI的“引力弹弓”,有两大核心:一是最强的数据底座,二是最佳的AI应用加速套件。

可以这样理解,数据底座就像是天体本身的引力足够大、足够强。

曙光存储的ParaStor分布式全闪存储,在整个硬件层面进行提升,可以发挥出极致性能。带宽倍数提升,单个节点可以做到最高150GB/s带宽,一秒钟提供150G的数据吞吐。IOPS十倍提升,一秒钟可以处理320万个I/O请求,实现高效吞吐。

而应用套件,就像是在原有引力基础上再造一个加速引擎,推动AI走得更快。

ParaStor分布式全闪存储采用了业内独家的“五级加速方案”,尽可能地缩短整个I/O流程,让数据更加靠近计算,分别实现了本地内存、Burst Buffer加速层、网络层(RDMA-Based)、存储节点高速层( NVMe SSD-Based )、应用层(存储直达GPU)的五层加速。

最强数据底座+五级加速的最佳AI应用加速套件,成为一张强有力的“引力弹弓”,让AI表现提升20倍,可以去往更广阔的产业天地。

wKgaombQoPqAQxuWAAJ2zWblk5I407.jpg

利用“引力弹弓效应”,人造航空器“旅行者1号” 飞出了太阳系,进入了太阳系外更广阔的宇宙空间。曙光存储可以让AI走得更快,那么能推动AI走得更远吗?

目前来看,答案是确定的。

作为分布式存储市场领导者象限中排名第一的厂商,曙光也在AI赛道上起到了引领作用。曙光存储走向行业的足迹,连起来,就是AI迈向产业的“轨迹”。

为AI筑底座。曙光存储与中国移动合作,为其新型智算中心提供存储底座,助力万卡甚至超万卡集群的建设,算力网络AI注智赋能,有望为各行各业提供澎湃的智能算力。泉州智慧城市大脑,借助新一代曙光存储的异构融合能力,实现海量异构数据资源的融合,打造更坚实的“数字底座”。

为AI谋效率。在与某AI大模型厂商的合作中,曙光存储的ParaStor分布式全闪存储,单节点150GB/s带宽和320万IOPS,整体训练效率提升50%以上,有了高效率的支撑大模型厂商更快推出产品来满足市场需求。

为AI降成本。目前,曙光存储实现了国内外双栈技术生态全兼容(CPU/GPU/OS/DB/Cloud),可以应对AI算力多元异构的技术挑战,支持国内外不同厂商、不同架构、不同版本的算卡,以及多样的大模型,帮助行业客户在智能化过程中,实现成本均衡。更合理的成本,也可以加速AI的产业化进程。

为AI谋新篇。在具身智能等新兴领域,曙光存储深入了解行业痛点,针对具身智能机器人低时延、高性能、丝滑体验等刚需,凭借快训练、快归档和合理成本等优势,为智元机器人打造坚实存储底座,让智元机器人可以实时、高效、丝滑地运行,及时处理故障,保持在最佳状态,加速商用进程,开启具身智能的新纪元。

不难看到,一张强大存储的“引力弹弓”,正推动AI走得又快又稳又远,走向广袤的产业宇宙。

可能有人会问,为什么最适配AI的存储,会率先诞生在中国、在曙光?

首先,曙光与国内AI的距离最近。可以针对性地满足国內AI厂商的定制化开发需求,这是海外厂商很难具备的。

此外,曙光自主研发实力很强。有国产化要求、担心海外供应链风险、追求完全自研的厂商,曙光存储有极强的吸引力。

而AI新技术,也要求存储厂商需要更多地跟介质厂商、网络厂商交互,共同探索全新的方案。以及在存储系统中纳入AI的能力,在算法上面有更多的积淀。因此,对存储厂商的综合能力、生态合作等,也都提出了新的要求。

从这个角度讲,曙光存储在AI领域的“引力弹弓”效应,也将进一步推动国产存储厂商的跟进与升级。

当越来越多的国产先进存储,为AI提供加速引力,一定会将AI推向更广阔的产业地带。那时,我们将看到一个更加辽阔璀璨的智能中国。

wKgZombQoPyAHPImAAHGasuNnrw092.jpg

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4113

    浏览量

    85251
  • AI
    AI
    +关注

    关注

    87

    文章

    28789

    浏览量

    266061
收藏 人收藏

    评论

    相关推荐

    曙光存储蝉联分布式存储市场领导者象限

    近日,国内权威机构赛迪顾问发布《2024中国分布式存储市场研究报告》,曙光存储稳居领导者象限,连续两年强势占位,更在AI、教育等细分市场排名第一,展现出强大的竞争力。
    的头像 发表于 08-06 14:44 351次阅读

    曙光存储首发集中式全闪存储新品,是存储领域的一次关键突破吗?

    存储行业资讯
    脑极体
    发布于 :2024年06月27日 14:23:17

    杭州灵伴科技文杰:AR+AI加速进入空间计算时代

    创始人文杰发表主旨演讲,文杰认为,AR和AI的结合将是未来技术发展的重要方向,并将加速空间计算时代的到来。   AR与AI的深度融合
    的头像 发表于 06-20 09:09 244次阅读
    杭州灵伴科技<b class='flag-5'>向</b>文杰:AR+<b class='flag-5'>AI</b>,<b class='flag-5'>加速</b>进入空间计算时代

    曙光存储携手华录集团发布“数据生命周期管理方案”

    随着AI应用的实,海量数据已成为数字经济发展宝贵的“数字原油”。为了保障新质生产力提供充足的“数字原油”,数据存储是关键。
    的头像 发表于 04-14 10:09 363次阅读

    曙光存储推出ParaStor分布式全闪存储

    曙光存储推出ParaStor分布式全闪存储,携业内首创技术XDS,以训练加速、稳定性强、性价比高的独特价值,全维度涵盖网络、计算和平台,为千行百业的AI大模型开发者提供
    发表于 03-01 11:30 457次阅读

    我国在光存储领域获重大突破 或将开启绿色海量光子存储新纪元

    我国在光存储领域获重大突破 或将开启绿色海量光子存储新纪元 据新华社的报道,中国科学院上海光学精密机械研究所与上海理工大学等合作,在超大容量超分辨三维光存储研究中取得突破性进展。可以说是“超级光盘
    的头像 发表于 02-22 18:28 1605次阅读

    曙光存储携手中国移动成功打造行业首个存力智能调度平台

    近日,曙光存储携手中国移动,成功打造行业首个存力智能调度平台。依托全栈自研技术优势,进一步激发全国数据价值,推动一体化存力布局进程加速!
    的头像 发表于 12-29 11:04 777次阅读
    <b class='flag-5'>曙光存储</b>携手中国移动成功打造行业首个存力智能调度平台

    AI大步向前,先进存力加速度追赶

    赛迪最新发布的《中国先进存力发展研究报告》(下称“报告”)指出,目前中国存力发展存在一定“被忽视”现象,预计到2025年,将有超过420EB的巨大存力缺口亟待补充。与此同时,以曙光存储为代表的一线厂商在持续发力“先进存力”,为存力赛道的进阶探清方向。
    的头像 发表于 12-25 16:25 422次阅读

    与百校打造智能计算联合实验室,中科曙光助中国科研展开AI羽翼

    AI中科曙光
    脑极体
    发布于 :2023年12月22日 21:20:40

    AI大模型驶向产业之海,需要高质数据“河道”引航

    曙光存储升级数据航道,加速行业AI应用扬帆
    的头像 发表于 12-02 09:45 1081次阅读
    <b class='flag-5'>AI</b>大模型驶向<b class='flag-5'>产业</b>之海,需要高质数据“河道”引航

    中科曙光推出AI大模型存储解决方案

    11月29日,“数智创新 AI未来”2023中国数据与存储峰会在北京举办。曙光存储受邀发表主题演讲,详述面向AI大模型的数据存储解决方案,通
    的头像 发表于 11-30 10:58 603次阅读

    宇宙时代分布式存储的应用

    宇宙的数据存储需求与现有数据存储需求有所不同,它需要更高的稳定性、安全性、低延迟和持久性。 数字资产的价值也使得元宇宙的数据保护成为不可忽视的问题,需要超乎寻常的安全性和可靠性。
    发表于 11-14 11:25 322次阅读

    AMD携手Nod.ai加速AI软件创新,Meta VR头像技术为元宇宙“真实”体验打开大门

    AI领域的竞争力。另一方面,Meta再次展示了它在VR技术方面的雄心,推出了令人印象深刻的逼真VR头像技术,使元宇宙的体验变得更“真实”。 AMD收购Nod.ai加速开源
    的头像 发表于 10-11 22:05 363次阅读
    AMD携手Nod.<b class='flag-5'>ai</b><b class='flag-5'>加速</b><b class='flag-5'>AI</b>软件创新,Meta VR头像技术为元<b class='flag-5'>宇宙</b>“真实”体验打开大门

    英码科技精彩亮相火爆的IOTE 2023,多面赋能AIoT产业发展!

    产品,包括覆盖多层次算力的智能工作站(边缘计算盒子)、AI加速卡等;同时大家展示自研的AI技术服务——“深元”0代码移植工具链和创新性的行业解决方案,赋能更多AIoT
    发表于 09-25 10:03

    曙光多项操作系统入围中国信通院“全景图”

    近日,曙光平台软件产品、曙光存储曙光网络正式加入中国信通院《高质量数字化转型产品及服务全景图(2023)》。 “全景图”依托于信通院的“铸基计划”,该计划聚焦数字化转型产品及服务,旨在通过构建完整
    的头像 发表于 09-22 09:51 650次阅读