0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

库瀚科技协办中国移动科技周,共建多样性算力科创发展新未来

科技见闻网 来源: 科技见闻网 作者: 科技见闻网 2023-09-11 09:19 次阅读

近期,中国移动第四届科技周暨战略性新兴产业共创发展大会正式启动。中国移动携手产学研用各方合作伙伴,以“澎湃创新力 战新共未来”为主题,汇聚院士学者、产业大咖、业界专家,围绕云和算力网络人工智能、6G、大数据、能力中台、安全等领域,聚焦科创前沿,共商协同创新新模式,共谋战新产业发展新未来。

其中,库瀚科技协办了以“多样性算力”为主题的分论坛,该论坛聚焦算力基础设施领域,与各界合作伙伴开展技术创新分享和实践经验交流,促进技术生态繁荣,共同推动数字经济高速发展。

(图片来源:中国移动)

库瀚科技软件架构师邱重阳在本次论坛中,分享了库瀚在全RISC-V架构下高性能存储软件的实践与探索

wKgaomT-ayCADBafAAU3OBghQqk736.png


库瀚分享:挑战与趋势

根据IDC预测数据,2025年全球数据量将增长到175ZB,中国将成为全球最大数据圈( 48.6ZB ),存算比趋近1:1,存储与计算同等重要。基础设施(服务器)市场近万亿,目前主导这个市场的还是X86 CPU通用计算为核心的生态。而X86 CPU的核心技术被境外垄断,价格昂贵的同时不符合国内信创趋势。摩尔定律在服务器芯片上逐渐失效,但是高速的存储、网络设备还在快速发展,通用CPU很难再同时处理计算、网络、存储等需求。

在此背景下,数据中心存算一体架构一直面临两个主要挑战:

第一个挑战是数据存储生命周期和服务器更新周期不同,存算一体的服务器架构无法使存算独立扩容,服务器的更新换代由处理器的升级周期决定,一般是2~3年更换,与数据存储5~10年的生命周期有较大区别,两者之间巨大的差异导致系统资源大量浪费,增加数据迁移丢失风险。

另外一个挑战是,传统分布式存储架构使得性能和存储资源利用率难以兼得,通常情况下,性能型存储通常采用三副本模式,得盘率仅仅约30%,容量型存储采用EC模式提升得盘率,但同时增加了CPU、网络的开销,导致存储系统整体性能受损。

数字经济时代,多样应用推动生产进步,当下比较热有ChatGPT、自动驾驶等,这些应用的背后都在消耗巨大的算力。这些不同的应用需要不同的算法,特定的算法匹配特定的算力来处理才能发挥更好的能效比。

业界涌现出越来越多的数据处理单元(DPU)和基础设施处理单元(IPU)专用芯片,在数据流处理路径上取代通用处理器,提升算力能效比。面对新的业务需求,结合计算、网络和存储的新技术发展趋势,新型存算分离的Diskless架构将重新定义数据中心基础设施。Top 厂商积极布局Diskless 架构,通过IPU对接共享的闪存盘框。

我们可以说:传统存储是存储1.0时代,分布式存储开启存储2.0时代,Diskless正在带领我们走进存储3.0时代。

wKgZomT-ayGAXRw0AAQriELJUyE203.png


wKgaomT-ayKAGXSyAAQPmSh7W1w461.png


策略与思路

·思路一:存储服务器使用存储专用芯片

目前芯片龙头已经推出的各类智能网卡形态数据处理芯片,主要是满足云厂商自定义的CPU算力卸载需求。头部厂商都在专用数据处理芯片的方向,但是目前看到的数据处理芯片侧重于计算服务器侧网络、计算虚拟化卸载等问题,存储服务器更强调IO加速、EC压缩的优化,低功耗、低成本的需求。基于存储专用芯片的存储服务器是去x86架构、提升算力能效比、降低存储服务器成本的一个有效手段,当然也同时需要对应存储基础软件来与之配套。

·思路二:通过数据分层机制来解决存储性能和资源的有效利用率难以兼得的矛盾

数据分层存储已经是一个比较老话题了,但就当前数据中心Diskless架构的趋势来说,数据分层本身使用了两层数据分离存储的策略,这和Diskless数据拉远池化的理念更加契合。一般来说,数据分层机制,通过副本机制对外提供统一的高性能存储服务;通过EC策略进行数据存储使得存储系统整体得盘率更高。通过两层架构的技术整合,以提高存储系统整体的存储性能和资源的有效利用率。

·思路三:通过软硬融合的设计提升存储系统资源的有效利用率

首先,目前SSD访问接口仍然是基于块语义的随机覆盖写,这并不契合NAND Flash的特性,NAND Flash是追加写、擦除后写,SSD为了适配传统块语义的接口,不得不在内部实现转换层FTL,增加了元数据管理、GC、OP空间预留等资源的开销。为了解决这个问题,库瀚提出了open channel技术,以及继承于它的zoned namespace技术,这些技术突破传统的标准硬件接口,打通设备与应用层之间的信息屏障。

其次是存储侧的计算卸载,也可以说是近存储计算。存储服务器侧的数据压缩、EC等算法,不适合利用通用处理器来计算,将其卸载到专用处理器可以显著提升能效比。

实践与探索

库瀚打造的存储平台是从底层SSD 主控芯片、SSD 固件、存储服务器主控到存储底层基础软件全技术栈打通的一个存储架构,在IO链路上基于全RISC-V架构主控平台,软硬融合设计的全闪存存储平台。

库瀚两颗RISC-V芯片——Aurora SSD主控、eSPU覆盖从应用到存储全流程,eSPU主板主控形态支持实现无x86架构的存储服务器,eSPU智能网卡形态面向数据服务基础设置场景;Aurora SSD主控支持实现PCIE 5.0/4.0等多型号的高性能企业级固态硬盘。

库瀚StorEngine 软固件平台是一套软件定义存储生态的高性能分布式存储软件基础计算模组,也是两颗RISC-V芯片平台的存储基础软件,以助力数据中心实现在现有硬件平台、eSPU/Aurora硬件平台下发挥业界领先的性能。

StorEngine 既可以运行在x86ARM平台上,也可以运行在eSPU(RISC-V)平台上。

库瀚StorEngine 采用Diskless 存算分离架构,把存储资源拉远池化,以替换传统存储中的本地盘;通过高密度的SPU盘框 + 存储计算分开扩容的能力,来降低数据中心整体成本。

库瀚StorEngine 使用数据分层和统一zone设计,性能层和容量层的分层设计使得系统在提升得盘率的同时,能够提供高性能存储服务;统一zone架构,使StorEngine兼容不同介质存储设备,全局存储资源以zone为单位进行分配,实现全局FTL,使SSD的磨损均衡可以在全局作用,同样可以延长SSD的寿命。

wKgZomT-ayOAcKLvAAOvy2o6CfU820.png

wKgaomT-aySAUTdOAAMd1t-bN4g929.png

wKgZomT-aySAfc5hAAPp_7u6Ql0110.png

库瀚与中移已就存储系统项目开展了合作与探索。中移ESSD是一套全自研的高性能全闪分布式存储系统,单卷可达百万 IOPS以上;库瀚StorEngine RPC组件KRPC在中移动ESSD高性能场景下的应用,提升了RPC组件效率,降低了硬件资源的开销。单卷客户端所需的CPU核心数量从改造前的21个下降为改造后的5个,与此同时单路IO延迟也从600us下降到270us,整个资源的利用率得到了显著的提高,存储系统的长尾延迟也有所改善。

wKgZomT-ayaAIYB4AANrOdefdZo532.png



审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 芯片
    +关注

    关注

    453

    文章

    50387

    浏览量

    421783
  • RISC-V
    +关注

    关注

    44

    文章

    2228

    浏览量

    46025
  • 算力
    +关注

    关注

    1

    文章

    925

    浏览量

    14740
收藏 人收藏

    评论

    相关推荐

    中国移动中心(哈尔滨)成为最大单集群智中心

    9月6日最新资讯,中国移动中心(哈尔滨)正式宣告投入运营,这一里程碑事件不仅标志着中国移动在智能计算领域的又一重大突破,更确立了其在全球运营商中拥有最大规模单集群智中心的领先地位
    的头像 发表于 09-06 15:33 752次阅读

    飞腾进一步推动多样性产业升级

    日前,“共筑新,智启新未来多样性产业峰会 2024(以下简称 “峰会”)在北京举行。
    的头像 发表于 09-02 14:28 426次阅读

    壁仞科技为中国移动呼和浩特智中心提供强大

      随着人工智能技术的飞速发展,高性能计算中心成为推动AI创新和应用的关键基础设施。近日,中国移动中心(呼和浩特)成功上线运营。国内领先的GPU企业壁仞科技的壁砺系列通用GPU
    的头像 发表于 07-05 17:16 1238次阅读

    FPGA厂商紫光同创入选多样性产业及标准推进委员会黄金成员

    日前,“共筑新,智启新未来多样性产业峰会2024在北京成功举办。本次峰会由
    的头像 发表于 06-23 16:58 1382次阅读
    FPGA厂商紫光同创入选<b class='flag-5'>多样性</b><b class='flag-5'>算</b><b class='flag-5'>力</b>产业及标准推进委员会黄金成员

    多样性产业峰会2024成功举办,得瑞领新助力推动产业生态蓬勃发展

    6月18日,“共筑新,智启新未来多样性产业峰会2024在北京成功举办。得瑞领新受邀参会
    的头像 发表于 06-20 09:27 367次阅读
    <b class='flag-5'>多样性</b><b class='flag-5'>算</b><b class='flag-5'>力</b>产业峰会2024成功举办,得瑞领新助力推动产业生态蓬勃<b class='flag-5'>发展</b>

    得瑞领新邀您共赴多样性产业峰会2024,探讨未来新趋势

    多样性产业峰会2024将于6月18日在北京新青海喜来登酒店隆重举办。得瑞领新诚邀各界专业人士和行业领袖莅临参会,共同探讨前沿技术,分享创新成果,推动多样性
    的头像 发表于 06-14 10:42 287次阅读

    软通动力与湖北移动达成AI智合作

    近日,2024湖北移动AI+成果发布暨生态大会在武汉盛大召开。此次大会,中国移动通信集团湖北有限公司携手业界精英,共同探索AI技术的未来发展趋势。其中,软通动力受邀参加,并与湖北
    的头像 发表于 05-22 10:49 547次阅读

    中国移动网络大会的现场精华,都在这里!

    大家好,我是小枣君。4月28-29日,2024中国移动网络大会在苏州召开。我有幸前往现场参加了本次大会。按照惯例,来给大家汇报一下现场的情况。中国移动
    的头像 发表于 05-13 08:05 592次阅读
    <b class='flag-5'>中国移动</b><b class='flag-5'>算</b><b class='flag-5'>力</b>网络大会的现场精华,都在这里!

    中国移动已建成运营商最大单体智中心

    中国移动在智领域迈出重要步伐,成功建成并投产了运营商中最大的单体智中心——中国移动中心(呼和浩特)。这一壮举不仅填补了我国人工智能
    的头像 发表于 05-06 10:49 689次阅读

    软通动力亮相2024中国移动网络大会,共绘网络新蓝图

    4月28日至29日,以“网络点亮AI新时代”为主题的2024中国移动网络大会在苏州隆重举行。
    的头像 发表于 05-06 10:20 446次阅读
    软通动力亮相2024<b class='flag-5'>中国移动</b><b class='flag-5'>算</b><b class='flag-5'>力</b>网络大会,共绘<b class='flag-5'>算</b><b class='flag-5'>力</b>网络新蓝图

    博半导体参加中国移动网络大会,智启GPU加速行业解决方案

    4月28日至29日,2024中国移动网络大会在苏州召开。作为中国移动合作伙伴,博半导体受邀参与本次大会并全面展示
    的头像 发表于 04-30 14:32 1646次阅读
    <b class='flag-5'>瀚</b>博半导体参加<b class='flag-5'>中国移动</b><b class='flag-5'>算</b><b class='flag-5'>力</b>网络大会,智启GPU加速行业解决方案

    壁仞科技加入中国移动“融未来网络创新联合体

    近日,以“网络点亮AI新时代”为主题的2024中国移动网络大会在苏州举行。作为中国移动
    的头像 发表于 04-30 09:36 854次阅读
    壁仞科技加入<b class='flag-5'>中国移动</b>“融<b class='flag-5'>创</b><b class='flag-5'>未来</b>”<b class='flag-5'>算</b><b class='flag-5'>力</b>网络创新联合体

    中兴通讯精彩亮相2024中国移动网络大会

    4月28日,2024中国移动网络大会在苏州重磅启幕,中兴通讯以“兴智能 新纪元”为主题参展
    的头像 发表于 04-29 09:30 409次阅读

    后摩智能助力中国移动构建网络

    后摩智能助力中国移动构建网络,MWC展示边端大模型运行成果
    的头像 发表于 03-14 14:48 597次阅读
    后摩智能助力<b class='flag-5'>中国移动</b>构建<b class='flag-5'>算</b><b class='flag-5'>力</b>网络

    中国移动近日正式推出全球首台路由器—CATS Router

    3月11日消息,中国移动近日正式推出历时两年研制成功的全球首台路由器——CATS Router。
    的头像 发表于 03-11 16:08 921次阅读
    <b class='flag-5'>中国移动</b>近日正式推出全球首台<b class='flag-5'>算</b><b class='flag-5'>力</b>路由器—CATS Router