0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

数据中心不能“偏科”,AIGC时代算力、存力需协调发展

浪潮存储 来源:未知 2023-10-10 17:30 次阅读

黄金比例是数学上一种堪称“完美”的比例关系,最早由欧几里得在《几何原本》中进行了系统论述。之后,黄金比例的理念被广泛应用到数学、物理、建筑、农业等多个领域,代表着最合理、最协调的一种情况或者状态。

在数据中心领域,相关资源的合理配比愈发受到用户们的关注。尤其是随着大模型和生成式AI应用的兴起,对于算力、存力等需求迅速提升,越来越多数据中心用户意识到数据中心资源需要平衡配置和协调发展,才能充分发挥其能力与价值。

今年以来,产业界多次呼吁AI时代的数据中心建设不能走向偏科,算力与存力的建设同等重要。正如浪潮信息存储产品线副总经理刘希猛所言:“当前,生成式AI时代的‘百模争秀’格局初现,AI大模型的建设不仅要有算力底座,更要有存力平台。将数据中心的计算、全闪存储、混闪存储按照11黄金比例建设,用户可最大化获得投资回报比。”

01 数据中心不能“偏科”

Gartner预测,到2023年将有20%的内容被AIGC所创建;到2025 年人工智能生成数据占比将达到10%。不可否认,生成式AI、大模型正在成为数据中心基础设施发展最大的牵引力。可以预见,由AIGC和大模型带来的基础设施投入在未来会持续增长。

但从目前真实情况看,数据中心的建设是“偏科”和“失衡”的。出于各种原因,“重算力、轻存力”的现象较为明显,大部分用户非常看重GPU等算力产品的部署,却忽视了存力建设的重要性,更缺少对于数据中心整体资源的规划与匹配。

众所周知,大模型应用的核心是高质量数据,数据的质量又决定着算法的性能、泛化能力和应用效果,而高质量数据的得到又与存力息息相关,围绕数据的“传输、存储、分析、管理、安全”等环节,存力是释放数据价值必不可少的关键因素。

事实上,大模型发展到今天,已经属于一个大规模、高质量数据和数据高效处理的工程难题。随着大模型逐渐向多模态的方向演进,意味着除了持续的算力需求之外,对于数据存储的容量、性能、多协议支持、可靠性、数据管理等带来前所未有的变化。

例如,大模型多元异构数据的归集、标注、训练、推理和归档均需要极高的效率来移动数据,这意味着支持异构数据的多协议融合将是解决大模型数据移动与处理效率的关键所在;又如,AIGC应用会产生大量推理需求,随之而来的就是大规模的并行处理和复杂IO,对数据存储性能要求极高;再如,大模型训练动辄需要调用成百上千块GPU卡,并且存在着不同的CheckPoint,对于存储的稳定可靠要求越来越高。

刘希猛直言,数据存储与管理在AIGC时代承担着两个重要责任:其一、支撑起海量多元异构数据的全生命周期管理工作;其二、承载起AIGC数据训练、推理对于性能、延时、容量、扩展性等各种严苛需求。

对于用户而言,除了需要重视存力建设之外,一个不容忽视的现实挑战即:数据中心的算力、存力资源比例到底应该如何配置才算最佳?为此,浪潮信息带来了它的答案:从数据容量、带宽、访问频率以及成本等多个因素综合考量,未来数据中心在实践中需要形成算力、闪存和混闪的11黄金比例,以满足AIGC、大模型等人工智能应用的需求。

02 黄金比例是如何得出的

相比于欧美成熟市场,我国存力的发展一直滞后于算力。这从我国数据中心全闪存普及率较低、容灾保护建设力度较弱等方面可见一斑。

随着AIGC时代的到来,这种滞后的现象更加明显与突出。面对AIGC迅猛的算力需求,很多用户从一开始就“走一步看一步”,往往是先购买算力,使用过程中发现存力跟不上,再去着手配置相应的存力,缺乏数据中心资源整体规划,建设方式明显落伍。

某种程度而言,我国通过普及和推广数据中心算力、闪存和混闪的11黄金比例既能让用户在基础设施层面更好地支撑起AIGC领域的创新,又可推动我国数据中心存力建设,实现数据中心整体资源配置和利用水平的提升。

但数据中心资源配置的黄金比例为什么会是“1个GPU节点,对应1个全闪存储、对应1个混闪存储” ?浪潮信息之所以会提出算力、闪存和混闪的11黄金比例,主要来自两个方面的核心原因:

首先,黄金比例源自于浪潮信息较早就涉足大模型的实践。早在2021年,浪潮信息就发布了源1.0中文大模型,当时该模型参数就高达2457亿个,训练文本数据量高达50TB,在这些年的大模型训练、推理实践中,浪潮信息自身的基础设施产品起到了关键的支撑作用;同时,浪潮信息也深刻感受到数据中心算力、存力的合理配置,对于发展大模型的重要性。

例如,在大模型训练与推理场景中,数据存储最大的挑战就是如何将不同数据源源不断传输到CPU和GPU,因此对于数据处理性能、如何与GPU配合等考验极大。

“对于源1.0的实践是浪潮信息存储产品的先天优势。市场中很少有企业能搭建一套大规模集群来进行支撑大模型的应用。”浪潮分布式存储产品线总经理姜乐果如是说。

其次,作为国内领先的企业级存储厂商,浪潮信息对于闪存、混闪等相关存力技术的未来发展有着深刻洞察,加上浪潮信息相关存储解决方案已经在国内多家AIGC企业中成功应用,对于AIGC时代数据中心的整体建设已经积累了较多实践。

“浪潮信息在闪存领域具有全栈技术创新能力,从底层SSD控制器到存储系统软硬件,再到上层应用,实现盘控协同,以及数据全链路的优化,有利于像AIGC这类应用充分释放数据的价值。”刘希猛补充道。

事实上,考虑到市场内外部环境与因素,未来算力市场GPU紧缺的情况还将持续很长一段时间,这也让算力、闪存和混闪的11黄金比例具有非常强的实践意义。在算力紧缺的情况下,同等算力配置下,以存强算,通过算力与存力的合理配置,可以充分发挥基础设施整体资源的价值。

为了进一步推动黄金比例在数据中心领域的推广,浪潮信息近期又正式推出针对大模型应用存储系统:AS 15000G7,以帮助用户从复杂的基础设施中解脱出来,全力投入到AIGC创新之中。

03 AS 15000G7,让黄金比例落在实处

可以说,黄金比例的普及,存储系统是关键。

众所周知,近年来随着闪存介质容量的持续提升以及价格的不断下降,为存力在国内的发展创造了极好的条件。毫无疑问,AIGC的兴起,将进一步驱动全闪、混闪等存储产品加速创新。

“AIGC类应用带来了对容量、性能、功能等需求的全面提升。”姜乐果介绍道,“存储系统不仅需要进行全新组合与设计,进而满足AIGC类应用的数据存储需求,还要避免传统存储方案的复杂性和低效率。”

wKgaomUt2fCAeYE-AAAJnr7dEIg630.png因此,浪潮信息面向AIGC应用场景打造出AS 15000G7,通过极致性能、极致管理、极致融合和极致效率来满足用户们对于大模型训练的数据存储在性能、管理、融合和效率方面的综合需求,助力AIGC在各个行业的落地,并加速释放数据价值。

首先,针对大模型高并发、复杂IO等特征,AS 15000G7从架构、硬件、关键技术、IO路径优化等多个方面为AIGC带来了极致性能,为大模型的训练等带来性能保障。具体来看,AS 15000G7通过GDS、RDMA技术缩短I/O路径,并且利用智能元数据管理显著提升数据访问和检索速度;另外,独有的智能网络优化技术实现提升网络端口并发能力,时延缩短50%以上,尤其是小文件级传输的时延可降至毫秒级。

wKgaomUt2fCAHoWfAAWYXnqEgts211.png

其次,针对大模型训练流程管理,AS 15000G7提供全流程透明可控的极致管理。AS 15000G7可同时搭载AIStation调度平台和InView数据管理平台,对AI服务器、网络、存储等设备进行智能运维,支持训练推理全流程的多租户管理、资源分配、数据管理分析。可以通过一套存储实现对AIGC数据采集、清洗、训练、推理、归档不同场景全流程的设备资源监控和管理。

第三,针对大模型多元异构数据的归集、标注、训练、推理和归档,AS 15000G7融合架构实现多源异构巨量数据的极致融合,对文件、对象、大数据以及视频的存储方式进行并行访问,支持多协议实时互访互通和系统扁平扩展,数据访问过程中保持语义一致、性能无损,从而对AI大模型海量多源异构非结构化数据实现高效共享。

最后,针对大模型所需要的巨额投入,AS 15000G7可助力用户实现黄金比例的数据中心资源最佳配比,提升投资回报比,带来极致效率。AS 15000G7根据闪存、磁盘、磁带、光盘等不同介质分为性能型、均衡型、容量型三种机型,并且基于自动化的数据分层和迁移,在应用安全透明的前提下,实现热温冷冰数据全生命周期的管理,带来TCO的显著降低。

毋庸置疑,AIGC的兴起标志着人工智能发展的拐点已至。当下,中国已经成为全球AIGC创新与发展的热土。不完全统计,当前国内大模型数量已经超过200个,不同类型的企业均在全力推动AIGC、大模型的发展。如今,人们愈发意识到“大模型产业发展,基础设施先行”的道理,算力、闪存和混闪的11黄金比例建设理念出现可谓是恰逢其时,有助于探索AIGC的企业降低基础设施复杂度,从而更好地聚焦创新。

“AIGC现在才刚刚起步,未来会持续带来对基础设施的需求。预计到2026年,黄金比例的建设模式有望得到广泛应用。”刘希猛最后表示道。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4332

    浏览量

    85956
  • 浪潮
    +关注

    关注

    1

    文章

    465

    浏览量

    23897
  • 存力
    +关注

    关注

    0

    文章

    23

    浏览量

    108

原文标题:数据中心不能“偏科”,AIGC时代算力、存力需协调发展

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    中心会取代通用中心吗?

    随着人工智能(AI)技术的飞速发展,计算需求不断攀升,数据中心行业正经历着前所未有的变革。传统的通用中心与新兴的智
    的头像 发表于 01-06 14:45 98次阅读
    智<b class='flag-5'>算</b><b class='flag-5'>中心</b>会取代通用<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>中心</b>吗?

    曙光存储构建先进中心,打通中国存储产业

    近日,曙光存储联合IDC发布《构建面向智能化时代的先进中心》白皮书(下称:白皮书),提出先进
    的头像 发表于 12-18 10:21 311次阅读

    精耕产品,共绘新途景丨科华数据打造恰到好处的下一代数据中心

    智能时代为先。沧海流量,数据基石。,推动经济社会高质量
    的头像 发表于 11-29 12:11 282次阅读
    精耕产品<b class='flag-5'>力</b>,共绘新途景丨科华<b class='flag-5'>数据</b>打造恰到好处的下一代<b class='flag-5'>数据中心</b>

    华为受邀出席产业发展方阵全体会议

    近日,产业发展方阵(以下简称“方阵”)全体会议在合肥顺利举办,该方阵在工业和信息化部指导下,由中国信息通信研究院牵头成立。华为数据中心网络解决方案资深架构师林艺宏受邀参会
    的头像 发表于 11-05 13:34 334次阅读

    OCTC发布&quot;工厂&quot;!力促智中心高效规划建设投运

    创新提出面向未来数据中心的"工厂"模式,核心是以规(划)、建(设)、运(营)一体化的交钥匙工程,实现智中心快速投运、绿色低碳,在当前
    的头像 发表于 10-11 09:10 525次阅读
    OCTC发布&quot;<b class='flag-5'>算</b><b class='flag-5'>力</b>工厂&quot;!力促智<b class='flag-5'>算</b><b class='flag-5'>中心</b>高效规划建设投运

    并重:数据时代的双刃剑

    在2024年的今天,人工智能(AI)技术已经全面渗透至我们生活的方方面面,从医疗诊断到智能交通,从金融分析到智能家居,AI正以前所未有的速度重塑我们的世界。这一变革背后,成为
    的头像 发表于 10-08 16:00 870次阅读

    大模型时代需求

    现在AI已进入大模型时代,各企业都争相部署大模型,但如何保证大模型的,以及相关的稳定性和性能,是一个极为重要的问题,带着这个极为重要的问题,我需要在此书中找到答案。
    发表于 08-20 09:04

    IaaS+on+DPU(IoD)+下一代高性能底座技术白皮书

    ,特别是在智领域,对系统大小有决定性作用;DPU负责数据在各种 CPU 之间、CPU 与 GPU、以及 GPU 与 GPU 之间高效
    发表于 07-24 15:32

    忆联全场景存储解决方案助力金融数据中心飞跃

    AI时代数据中心建设正在经历一场深刻的变革。依照行业最高标准建设的金融数据中心需要怎样的?当高密度、大容量、高可靠、高性能存储逐步成为
    的头像 发表于 07-23 18:15 1160次阅读
    忆联全场景存储解决方案助力金融<b class='flag-5'>数据中心</b>存<b class='flag-5'>力</b>飞跃

    江苏省基础设施发展专项规划:打造供给服务新高地

    按照规划,江苏将全力打造“2+N+X”网络梯次多元布局,包括南京、苏州两个国家级核心算枢纽集群,N个省内城市级数据中心(云计算中心、智
    的头像 发表于 04-26 15:58 408次阅读

    中心:数字经济发展的新引擎

    随着数字经济的快速发展中心正逐渐成为推动经济发展的重要力量。
    的头像 发表于 04-13 08:27 1763次阅读
    <b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>中心</b>:数字经济<b class='flag-5'>发展</b>的新引擎

    一图看懂星河AI数据中心网络,全面释放AI时代

    华为中国合作伙伴大会 | 一图看懂星河AI数据中心网络,以网强,全面释放AI时代
    的头像 发表于 03-22 10:28 780次阅读
    一图看懂星河AI<b class='flag-5'>数据中心</b>网络,全面释放AI<b class='flag-5'>时代</b><b class='flag-5'>算</b><b class='flag-5'>力</b>

    CloudFabric3.0超融合数据中心网络全新升级,携手共筑新联接

    在华为中国合作伙伴大会2024期间,华为举办了以“超融合数据中心网络,携手共筑新联接”为主题的数据中心网络分论坛。
    的头像 发表于 03-19 09:18 912次阅读

    大茉莉X16-P,5800M大称王称霸

    Rykj365
    发布于 :2024年01月25日 14:54:52

    网络面临三大挑战

    2024年,以AIGC为代表的人工智能技术将进一步激发需求,网络、智
    的头像 发表于 01-12 10:39 1144次阅读