0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

以浪潮分布式并行文件存储筑基,中国科学技术大学为科研平台注入新动力

浪潮存储 来源:浪潮存储 作者:浪潮存储 2022-12-16 11:39 次阅读

伴随牛顿力学体系建立而诞生的近代科学,开辟了一个改变人类生产生活和思维方式,对人类社会发展进程产生深远的、革命性影响的全新时代。时至今日,科技创新依然是影响和改变经济、社会的关键变量。不断向科学技术广度和深度进军,探索当前世界科技发展的最前沿,推动事关人类生存与发展的科技进步是每个科研机构的目标。

中国科学技术大学(以下简称中国科大)致力于科学前沿探索和高新技术创新,为了更好支撑生命科学、天文、材料、人工智能等各学科领域研究,校网络信息中心负责学校的计算平台,以计算和存储为平台融合新技术应用,推进重大科研创新平台建设,提升创新体系效能,加速科技创新。

中国科大是中国科学院所属的以前沿科学和高新技术为主、兼有医学和特色文科的综合性全国重点大学,于1958年在北京创建,重点培养新兴、边缘、交叉学科的尖端科技人才,其中包括一批国际知名的科学家,在单分子科学、高温超导、纳米科学、地球环境、生命与健康等前沿领域取得了世界水平领先的科研成果。

现有的计算中心整体资源使用率接近极限

近年来天文、力学、生命科学、材料科学、人工智能等学科的项目随着新技术和新仪器的应用取得了显著科研成果,但同时,科研创新平台在计算、存储性能和容量上也遇到了新的挑战。生物工程、生态环境、新材料、天文观测等科研项目的实验数据采集具有周期长、采集复杂、环境要求较高、不可复杂再生(气候数据)等特点。此外由于科研项目涉及的众多研究员来自不同高校及科研单位,在采集、分析实验数据等环节需严格按照时间节点进行推进,因此在数据安全可靠方面必须得到保障,不容任何丢失。

例如生命科学领域的研究:冷冻电镜设备,通过“样品冷冻—低剂量电子断层扫描—三维重构”技术,开展生命科学基础研究。在其整个流程中,图像处理和三维重构作为核心步骤,对计算和存储的需求非常高,平均每分钟就能产生5-6张Image Stack图像数据,按照24小时不间断地工作计算,每天会产生超过数TB的数据,每年可达数PB,并且采集的海量文件数据要进行高并发的模型重构。处理后的数据还需要及时归档存储,一方面释放占用的性能资源,另一方面更好地保存宝贵的原始科研数据以备后续计划使用。全校多领域持续新增的科研项目需求,对计算存储平台整体方案的性能、容量、安全稳定都提出了新挑战。

百万IOPS、百GB带宽

为科研平台注入新动力

聚焦前沿科学研究,致力尖端科技突破,注重学科交叉融合,努力实现创新和科技成果转化的重大突破,为保障各类学科课题项目顺利、高效开展,中国科大深入分析科研项目对计算中心的需求,以“计算+存储”为核心的整体方案升级集群系统,整体筹划部署了25个浪潮GPU服务器节点以及一套浪潮分布式并行文件存储AS13000系列,为科研平台提供计算及数据基础设施强力支撑。

为了满足不同学科领域项目采集的数据在研究不同时期数据对存储性能、容量的需求特点,数据层采用了浪潮分布式并行文件存储AS13000系列数据分层存储方案,通过配置NVMe SSD高性能硬盘的全闪存节点构建了高速性能层,通过30个4U60盘位高密节点搭建了11PB可用空间的容量层。集群中所有分布式节点参与并发读写,基于聚合的小文件优化技术,减少了数据写入硬盘次数,提高小文件读写性能,实现了集群聚合读带宽160GB/s以上,写带宽100GB/s以上,同时随机读IOPS达205万,保证科研项目顺利进行。存储集群采用统一目录命名空间,可以自动根据数据访问在高速存储层及普通容量层中迁移,确保发挥更大性能。此外浪潮分布式并行文件存储AS13000可提供块、文件、对象、大数据等多种存储服务,通过灵活的存储协议选择以及多种存储协议之间的互通性满足多领域科研项目课题的负载多样性。

2ebacc14-7c6b-11ed-8abf-dac502259ad0.png

聚合读写带宽性能

数据存储集群具有高冗余模式,即当某节点出现故障时,可以自动切换至备用节点,设备类故障频率降低,科研平台数据不丢失,保证了数据安全性和项目课题运行的持续性。此外,中国科大考虑到科研平台未来研究方向的增多及规模的增大,浪潮分布式并行文件存储AS13000可以根据后期业务的增长,在线扩展新的节点,系统的性能和容量会随着节点数量的增加线性增长,保护了科研项目的持续性研究。

2ee46380-7c6b-11ed-8abf-dac502259ad0.png

中国科大校级计算平台逻辑拓扑图

2003年正式建成的中国科大校级计算平台是学校六大公共实验中心之一,也是国内高校最早的平台之一。目前投入设备采购费用已超1.2亿元,1300台在使用中的服务器,提供总双精度浮点5409万亿次/秒的计算能力,利用率超80%。在2022年支持发表SCI论文464篇(包括Nature系列、Science系列、PRL、JACS、Cell等顶级期刊论文38篇),为前沿领域的科技创新提供数据与计算平台,为用户取得显著项目成果起到显著支撑。

科技创新作为引领发展的第一动力,深刻应用和影响着人类的工作、生产、生活各个方面,从而提升生命健康水平,推动经济繁荣、造福人类。作为具有较强知识创新和技术创新能力的教育与科研基地,中国科大致力于推动中国科技文化的发展。通过对新技术、新设备的应用,为每一位师生提供优质的计算和数据资源,为加速前沿科技研究打下坚实的基础,帮助全人类更好地认识自然、理解自然、改造自然,推动人类社会和文明不断向前迈进。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4140

    浏览量

    85391
  • gpu
    gpu
    +关注

    关注

    27

    文章

    4604

    浏览量

    128276
  • 服务器
    +关注

    关注

    12

    文章

    8751

    浏览量

    84727
  • 浪潮
    +关注

    关注

    1

    文章

    443

    浏览量

    23725

原文标题:以浪潮分布式并行文件存储筑基,中国科学技术大学为科研平台注入新动力

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    基于分布式对象存储WDS的信托非结构化数据整合平台

    基于分布式对象存储WDS的信托非结构化数据整合平台
    的头像 发表于 08-28 09:56 171次阅读
    基于<b class='flag-5'>分布式</b>对象<b class='flag-5'>存储</b>WDS的信托非结构化数据整合<b class='flag-5'>平台</b>

    全球分布式研发中心揭牌

    携手BC向未来,创新共生态链。7月3日,隆全球分布式研发中心启用仪式暨合作伙伴共创大会在嘉兴举行。
    的头像 发表于 07-04 11:06 451次阅读

    浪潮信息推出基于新一代分布式存储平台AS13000G7的AIGC存储解决方案

    6月28日,浪潮信息“元脑中国行”全国巡展杭州站顺利举行。会上,浪潮信息重磅推出基于新一代分布式存储平台
    的头像 发表于 07-01 19:00 1250次阅读
    <b class='flag-5'>浪潮</b>信息推出基于新一代<b class='flag-5'>分布式</b><b class='flag-5'>存储</b><b class='flag-5'>平台</b>AS13000G7的AIGC<b class='flag-5'>存储</b>解决方案

    开启原生创新引擎,中国科学技术大学 鲲鹏昇腾科教创新卓越中心正式成立

    中心,在科研创新与人才培养方面展开深入合作,基于鲲鹏昇腾技术路线实现计算机体系架构和科学应用的原生创新,培养鲲鹏昇腾优秀原生人才。 在中国科学技术大学校长包信和院士、副校长吴枫、华为I
    的头像 发表于 06-21 10:39 282次阅读
    开启原生创新引擎,<b class='flag-5'>中国科学技术大学</b> 鲲鹏昇腾科教创新卓越中心正式成立

    浪潮信息发布AS13000G7-N系列分布式全闪存储

    浪潮信息近日推出了专为大型AI模型优化的AS13000G7-N系列分布式全闪存储。该系列基于浪潮信息自研的分布式
    的头像 发表于 05-14 10:03 430次阅读

    大模型专门优化 浪潮信息发布分布式全闪存储AS13000G7-N系列

    北京2024年5月10日 /美通社/ -- 近日,浪潮信息发布大模型专门优化的分布式全闪存储AS13000G7-N系列。该系列依托浪潮信息
    的头像 发表于 05-10 16:37 358次阅读
    <b class='flag-5'>为</b>大模型专门优化 <b class='flag-5'>浪潮</b>信息发布<b class='flag-5'>分布式</b>全闪<b class='flag-5'>存储</b>AS13000G7-N系列

    中国科学技术大学科研团队取得量子计算研究新进展

    中国科学技术大学科研团队取得量子计算研究新进展 据央视新闻报道,中国科学技术大学科研团队利用自主研发的关键设备,利用“自底而上”的量子模拟方法,在国际上首次实现光子的反常分数量子霍尔态。 据中国科大
    的头像 发表于 05-08 16:40 554次阅读

    浪潮信息发布大模型专门优化的分布式全闪存储AS13000G7-N系列

    近日,浪潮信息发布大模型专门优化的分布式全闪存储AS13000G7-N系列。该系列依托浪潮信息自研分布
    的头像 发表于 05-08 09:38 405次阅读
    <b class='flag-5'>浪潮</b>信息发布<b class='flag-5'>为</b>大模型专门优化的<b class='flag-5'>分布式</b>全闪<b class='flag-5'>存储</b>AS13000G7-N系列

    【Vsan数据恢复】Vsan分布式存储虚拟磁盘文件丢失的数据恢复案例

    一套vsan分布式存储架构有数台服务器节点,该vsan分布式存储架构配置了固态硬盘和机械硬盘,固态硬盘作为缓存盘使用,机械硬盘作为容量盘使用。 机房供电异常导致服务器异常关机,工作人
    的头像 发表于 01-03 16:39 528次阅读

    业界首个《分布式融合存储研究报告》发布,探索智算时代新存储底座

    2023年11月30日,中国电子技术标准化研究院、存储产业技术创新战略联盟联合华中科技大学、中山大学、之江实验室、
    的头像 发表于 11-30 16:25 423次阅读
    业界首个《<b class='flag-5'>分布式</b>融合<b class='flag-5'>存储</b>研究报告》发布,探索智算时代新<b class='flag-5'>存储</b>底座

    分布式数据恢复-hbase+hive分布式存储误删除文件的数据恢复方案

    。 hbase+hive分布式存储故障&初检: 数据库文件被误删除,数据库无法使用。 通过现场对该分布式环境的初步检测,发现虚拟机还可以正常启动,虚拟机里面的数据库块
    的头像 发表于 11-24 15:55 350次阅读

    HarmonyOS分布式文件系统开发指导

    to setSecurityLabel. Code: ${err.code}, message: ${err.message}`); }); 跨设备文件访问 分布式文件系统应用
    发表于 11-14 17:14

    基于PyTorch的模型并行分布式训练Megatron解析

    NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架,用来训练超大Transformer语言模型,其通过综合应用了数据并行,Tensor并行和Pipeline并行
    的头像 发表于 10-23 11:01 2439次阅读
    基于PyTorch的模型<b class='flag-5'>并行</b><b class='flag-5'>分布式</b>训练Megatron解析

    分布式文件系统的设计原理是什么?

    什么是分布式文件系统?分布式文件系统(DFS)是一种计算机文件系统,使用户能够从多个分布式位置
    的头像 发表于 10-17 17:35 725次阅读

    国仪电镜论坛暨中国科学技术大学前沿材料表征技术交流会成功举办

    9月25日-27日,国仪电镜论坛暨中国科学技术大学前沿材料表征技术交流会在中国科学技术大学举行,来自安徽省及周边地区高校、研究院所和企业的80多位专家学者,共同就前沿材料表征技术、电镜
    的头像 发表于 10-10 12:00 567次阅读
    国仪电镜论坛暨<b class='flag-5'>中国科学技术大学</b>前沿材料表征<b class='flag-5'>技术</b>交流会成功举办