0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

以浪潮分布式并行文件存储筑基,中国科学技术大学为科研平台注入新动力

浪潮存储 来源:浪潮存储 作者:浪潮存储 2022-12-16 11:39 次阅读

伴随牛顿力学体系建立而诞生的近代科学,开辟了一个改变人类生产生活和思维方式,对人类社会发展进程产生深远的、革命性影响的全新时代。时至今日,科技创新依然是影响和改变经济、社会的关键变量。不断向科学技术广度和深度进军,探索当前世界科技发展的最前沿,推动事关人类生存与发展的科技进步是每个科研机构的目标。

中国科学技术大学(以下简称中国科大)致力于科学前沿探索和高新技术创新,为了更好支撑生命科学、天文、材料、人工智能等各学科领域研究,校网络信息中心负责学校的计算平台,以计算和存储为平台融合新技术应用,推进重大科研创新平台建设,提升创新体系效能,加速科技创新。

中国科大是中国科学院所属的以前沿科学和高新技术为主、兼有医学和特色文科的综合性全国重点大学,于1958年在北京创建,重点培养新兴、边缘、交叉学科的尖端科技人才,其中包括一批国际知名的科学家,在单分子科学、高温超导、纳米科学、地球环境、生命与健康等前沿领域取得了世界水平领先的科研成果。

现有的计算中心整体资源使用率接近极限

近年来天文、力学、生命科学、材料科学、人工智能等学科的项目随着新技术和新仪器的应用取得了显著科研成果,但同时,科研创新平台在计算、存储性能和容量上也遇到了新的挑战。生物工程、生态环境、新材料、天文观测等科研项目的实验数据采集具有周期长、采集复杂、环境要求较高、不可复杂再生(气候数据)等特点。此外由于科研项目涉及的众多研究员来自不同高校及科研单位,在采集、分析实验数据等环节需严格按照时间节点进行推进,因此在数据安全可靠方面必须得到保障,不容任何丢失。

例如生命科学领域的研究:冷冻电镜设备,通过“样品冷冻—低剂量电子断层扫描—三维重构”技术,开展生命科学基础研究。在其整个流程中,图像处理和三维重构作为核心步骤,对计算和存储的需求非常高,平均每分钟就能产生5-6张Image Stack图像数据,按照24小时不间断地工作计算,每天会产生超过数TB的数据,每年可达数PB,并且采集的海量文件数据要进行高并发的模型重构。处理后的数据还需要及时归档存储,一方面释放占用的性能资源,另一方面更好地保存宝贵的原始科研数据以备后续计划使用。全校多领域持续新增的科研项目需求,对计算存储平台整体方案的性能、容量、安全稳定都提出了新挑战。

百万IOPS、百GB带宽

为科研平台注入新动力

聚焦前沿科学研究,致力尖端科技突破,注重学科交叉融合,努力实现创新和科技成果转化的重大突破,为保障各类学科课题项目顺利、高效开展,中国科大深入分析科研项目对计算中心的需求,以“计算+存储”为核心的整体方案升级集群系统,整体筹划部署了25个浪潮GPU服务器节点以及一套浪潮分布式并行文件存储AS13000系列,为科研平台提供计算及数据基础设施强力支撑。

为了满足不同学科领域项目采集的数据在研究不同时期数据对存储性能、容量的需求特点,数据层采用了浪潮分布式并行文件存储AS13000系列数据分层存储方案,通过配置NVMe SSD高性能硬盘的全闪存节点构建了高速性能层,通过30个4U60盘位高密节点搭建了11PB可用空间的容量层。集群中所有分布式节点参与并发读写,基于聚合的小文件优化技术,减少了数据写入硬盘次数,提高小文件读写性能,实现了集群聚合读带宽160GB/s以上,写带宽100GB/s以上,同时随机读IOPS达205万,保证科研项目顺利进行。存储集群采用统一目录命名空间,可以自动根据数据访问在高速存储层及普通容量层中迁移,确保发挥更大性能。此外浪潮分布式并行文件存储AS13000可提供块、文件、对象、大数据等多种存储服务,通过灵活的存储协议选择以及多种存储协议之间的互通性满足多领域科研项目课题的负载多样性。

2ebacc14-7c6b-11ed-8abf-dac502259ad0.png

聚合读写带宽性能

数据存储集群具有高冗余模式,即当某节点出现故障时,可以自动切换至备用节点,设备类故障频率降低,科研平台数据不丢失,保证了数据安全性和项目课题运行的持续性。此外,中国科大考虑到科研平台未来研究方向的增多及规模的增大,浪潮分布式并行文件存储AS13000可以根据后期业务的增长,在线扩展新的节点,系统的性能和容量会随着节点数量的增加线性增长,保护了科研项目的持续性研究。

2ee46380-7c6b-11ed-8abf-dac502259ad0.png

中国科大校级计算平台逻辑拓扑图

2003年正式建成的中国科大校级计算平台是学校六大公共实验中心之一,也是国内高校最早的平台之一。目前投入设备采购费用已超1.2亿元,1300台在使用中的服务器,提供总双精度浮点5409万亿次/秒的计算能力,利用率超80%。在2022年支持发表SCI论文464篇(包括Nature系列、Science系列、PRL、JACS、Cell等顶级期刊论文38篇),为前沿领域的科技创新提供数据与计算平台,为用户取得显著项目成果起到显著支撑。

科技创新作为引领发展的第一动力,深刻应用和影响着人类的工作、生产、生活各个方面,从而提升生命健康水平,推动经济繁荣、造福人类。作为具有较强知识创新和技术创新能力的教育与科研基地,中国科大致力于推动中国科技文化的发展。通过对新技术、新设备的应用,为每一位师生提供优质的计算和数据资源,为加速前沿科技研究打下坚实的基础,帮助全人类更好地认识自然、理解自然、改造自然,推动人类社会和文明不断向前迈进。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4328

    浏览量

    85942
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4752

    浏览量

    129055
  • 服务器
    +关注

    关注

    12

    文章

    9231

    浏览量

    85625
  • 浪潮
    +关注

    关注

    1

    文章

    463

    浏览量

    23892

原文标题:以浪潮分布式并行文件存储筑基,中国科学技术大学为科研平台注入新动力

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    敏芯股份荣获2023年度江苏省科学技术

    近日,江苏省召开了全省科技大会暨科学技术奖励大会,公布了2023年度江苏省科学技术奖。由敏芯股份、东南大学以及中国电子科技集团共同完成的“高性能谐振
    的头像 发表于 12-17 14:20 167次阅读

    中国科学技术大学团队突破非接触心脏活动感知技术

    近日,中国科学技术大学的陈彦教授团队在非接触心脏活动感知研究领域取得了重大突破。他们首次发现并成功利用了心脏机械活动谐波中的“拍频效应”这一关键物理现象,远程监测心脏活动提供了全新的技术手段。 在
    的头像 发表于 12-17 11:09 607次阅读

    西湖大学科学家+AI,科研新范式的样本

    究,创新科研新范式。这一点在西湖大学科研项目中已得到体现。 成立于2018年的西湖大学是由施一公院士领衔创办的、聚焦前沿科学研究的研究型
    的头像 发表于 12-12 15:59 182次阅读
    西湖<b class='flag-5'>大学</b>:<b class='flag-5'>科学</b>家+AI,<b class='flag-5'>科研</b>新范式的样本

    锦浪科技荣获中国电力科学技术进步一等奖

    近日,我国电力行业科技创新最高奖项2024年度中国电力科学技术奖正式发布,锦浪科技参与完成的“大规模分布式源荷与电网协同互动关键技术研发及应用”项目,荣获“
    的头像 发表于 11-19 11:28 346次阅读

    基于分布式对象存储WDS的信托非结构化数据整合平台

    基于分布式对象存储WDS的信托非结构化数据整合平台
    的头像 发表于 08-28 09:56 360次阅读
    基于<b class='flag-5'>分布式</b>对象<b class='flag-5'>存储</b>WDS的信托非结构化数据整合<b class='flag-5'>平台</b>

    EasyGo使用笔记丨分布式光伏集群并网控制硬件在环仿真应用

    : 与常规仿真方式进行对比,Easygo硬件在环仿真仿真一秒所需时间与实际时间保持一致。本次实验达到了理论验证的预期,验证了EasyGo分布式光伏集群并网控制硬件在环仿真平台的可行性与精确性,可为科研
    发表于 07-12 17:20

    全球分布式研发中心揭牌

    携手BC向未来,创新共生态链。7月3日,隆全球分布式研发中心启用仪式暨合作伙伴共创大会在嘉兴举行。
    的头像 发表于 07-04 11:06 520次阅读

    浪潮信息推出基于新一代分布式存储平台AS13000G7的AIGC存储解决方案

    6月28日,浪潮信息“元脑中国行”全国巡展杭州站顺利举行。会上,浪潮信息重磅推出基于新一代分布式存储平台
    的头像 发表于 07-01 19:00 1452次阅读
    <b class='flag-5'>浪潮</b>信息推出基于新一代<b class='flag-5'>分布式</b><b class='flag-5'>存储</b><b class='flag-5'>平台</b>AS13000G7的AIGC<b class='flag-5'>存储</b>解决方案

    开启原生创新引擎,中国科学技术大学 鲲鹏昇腾科教创新卓越中心正式成立

    中心,在科研创新与人才培养方面展开深入合作,基于鲲鹏昇腾技术路线实现计算机体系架构和科学应用的原生创新,培养鲲鹏昇腾优秀原生人才。 在中国科学技术大学校长包信和院士、副校长吴枫、华为I
    的头像 发表于 06-21 10:39 366次阅读
    开启原生创新引擎,<b class='flag-5'>中国科学技术大学</b> 鲲鹏昇腾科教创新卓越中心正式成立

    浪潮信息发布AS13000G7-N系列分布式全闪存储

    浪潮信息近日推出了专为大型AI模型优化的AS13000G7-N系列分布式全闪存储。该系列基于浪潮信息自研的分布式
    的头像 发表于 05-14 10:03 585次阅读

    大模型专门优化 浪潮信息发布分布式全闪存储AS13000G7-N系列

    北京2024年5月10日 /美通社/ -- 近日,浪潮信息发布大模型专门优化的分布式全闪存储AS13000G7-N系列。该系列依托浪潮信息
    的头像 发表于 05-10 16:37 443次阅读
    <b class='flag-5'>为</b>大模型专门优化 <b class='flag-5'>浪潮</b>信息发布<b class='flag-5'>分布式</b>全闪<b class='flag-5'>存储</b>AS13000G7-N系列

    中国科学技术大学科研团队取得量子计算研究新进展

    中国科学技术大学科研团队取得量子计算研究新进展 据央视新闻报道,中国科学技术大学科研团队利用自主研发的关键设备,利用“自底而上”的量子模拟方法,在国际上首次实现光子的反常分数量子霍尔态。 据中国科大
    的头像 发表于 05-08 16:40 741次阅读

    浪潮信息发布大模型专门优化的分布式全闪存储AS13000G7-N系列

    近日,浪潮信息发布大模型专门优化的分布式全闪存储AS13000G7-N系列。该系列依托浪潮信息自研分布
    的头像 发表于 05-08 09:38 578次阅读
    <b class='flag-5'>浪潮</b>信息发布<b class='flag-5'>为</b>大模型专门优化的<b class='flag-5'>分布式</b>全闪<b class='flag-5'>存储</b>AS13000G7-N系列

    分布式系统医疗展厅注入智能元素,提升患者信任度

    在医疗领域,展厅不仅是展示医疗技术和服务的重要场所,更是建立患者信任、提升品牌形象的关键环节。讯维分布式系统通过为医疗展厅注入智能元素,有效提升了患者的信任度和就医体验。 首先,讯维分布式
    的头像 发表于 03-04 15:45 342次阅读

    曙光存储推出ParaStor分布式全闪存储

    曙光存储推出ParaStor分布式全闪存储,携业内首创技术XDS,训练加速、稳定性强、性价比高的独特价值,全维度涵盖网络、计算和
    发表于 03-01 11:30 616次阅读