近两年以来存储市场可谓好不热闹,SSD带来的急速已经体现在了下至消费电子,上至超算的性能上,然而随着高性能计算走上了全新的道路,大吞吐量和大容量也已经不再是HPC存储关注的唯二设计目标了。
那么当下的HPC存储遇上了哪些挑战呢?首先数据生成已经在被数据接入逐渐取代,大数据环境下,IOPS要求的反而是小数据的随机存取。其次,“寻找”到真正所需的数据成了最关键的一环,也对元数据在统计、读取、写入和删除上提出了更高的要求。加之近年来涌现的不同文件与数据形式,处理起来需要额外的注意,高性能存储必须具备大型数据转移的能力。
新的高性能计算场景
就以目前一些在建的智能城市项目为例,诸多传感器和执行器散落在城市中,激光雷达、摄像头、微流控传感器和电机,它们将产生PB级别的原始数据,这些数据在需要经过压缩、预处理、上传、深度学习和推理,存储可以说与边缘计算和机器学习紧密联系在一起。
另一个例子就是我们的自动驾驶,如今的自动驾驶方案都是通过数据与高性能计算实现的,像特斯拉这样的厂商甚至自研自建芯片和超算,用于其自动驾驶技术的开发。自动驾驶测试车队每天都要将PB级的遥测传感数据传输给数据平台,随后经过标签、分类、错误检测和仿真,再放到大型存储系统中,而这样的大型存储平台不仅大小可能扩展至EB级,还要承受着仿真、再处理与机器学习的繁重负载。
在这些新场景给出的挑战下,兴起了一波新的技术,比如PCIe 4.0朝PCIe 5.0转变,光模块从200G朝400G的转变,使用GPU直接存储等专用协议等等。这些技术多数是对HPC存储在吞吐量上的提升,而更重要的是对特定工作流效率的优化。
HPC系统中存储的组成
在当下的HPC场景中,无论是本地部署还是云端环境,都需要一个计算平台,可能是CPU或是CPU+GPU/加速器的配置,这一节点可以充分利用3D Xpoint这样的持久内存,不仅可以提供低延迟的内存数据访问,在断电下不丢失数据,还可以用上DAOS这样分布式异步对象存储的文件系统。
Lustre文件系统 / Lustre
接着是存储平台,也就是并行文件系统的所在,这个系统可能是基于Lustre、Spectrum或是NVMe-oF的方案。但无论是哪种系统,考虑到需要低成本大容量,通常都会用到NVMe硬盘和HDD硬盘的混合方案,但这就提出了数据分布以及数据移动上的挑战。不过现在已经有了PCC/LROC这样的客户端持久性高速缓存,在存储或数据敏感的环境中,只需完成计算平台和存储平台相关的数据移动,进一步降低了I/O开销。
最后是数据的管理,这一部分属于对大量数据更加长期的存储,比如像波音这样的航空公司,需要对每一架飞机的细致数据存储50年以上,还要具备数据追溯的能力。这样的存储并不需要拥有高速的性能,但在前端的程序需要时提供即时的交互,而且为了节能考虑,要做到所谓的“零功耗存储”。
超算是怎么做的?
随着不少超算都已经在布局百亿亿级的系统,作为HPC中最顶端的应用,我们自然可以从中窥得一二,看一看当下主流的HPC存储方案。以计划于今年打造完成的Frontier超算为例,该超算将成为美国第一台百亿亿级别的超算,算力约为1.5 exaFLOPS。
Frontier超级计算机 / AMD
Frontier采取了AMD的全套方案,结合AMD的EPyc CPU和Radeon Instinct GPU,在AMD的缓存一致性互联方案下,CPU上的代码可以直接访问GPU内存,这也就是我们在上文提到的GPU直接存储技术。在存储系统上,Frontier用到了679PB基于Lustre+ZFS的文件系统方案,用47700块硬盘实现,最高速率可达5TB/s。高速存储上,共有5400块NVMe固态硬盘组成11PB的存储空间,提供10TB/s的读取速度。
Aurora超级计算机 / 英特尔
而Aurora同样作为今年推出的百亿亿级超算系统,则选择了英特尔的方案,单个计算节点由两个Xeon Sapphire Rapids、6个Xe Ponte Vecchio GPU和一个通用内存架构组成。其主要存储方案也选择了英特尔的DAOS文件系统,结合NVMe和傲腾持久内存,组成一套大于230PB的系统,并实现25TB/s的速度。
小结
在HPC存储上的挑战除了以上提到的这些外,还有近来兴起的存内计算激发的计算能力挑战,未来5年内,无论是存储结构、文件系统乃至存储材料都会再度迎来新的变化。这些变化会先一步解决HPC上的难题,再潜移默化地改善日常应用。
那么当下的HPC存储遇上了哪些挑战呢?首先数据生成已经在被数据接入逐渐取代,大数据环境下,IOPS要求的反而是小数据的随机存取。其次,“寻找”到真正所需的数据成了最关键的一环,也对元数据在统计、读取、写入和删除上提出了更高的要求。加之近年来涌现的不同文件与数据形式,处理起来需要额外的注意,高性能存储必须具备大型数据转移的能力。
新的高性能计算场景
就以目前一些在建的智能城市项目为例,诸多传感器和执行器散落在城市中,激光雷达、摄像头、微流控传感器和电机,它们将产生PB级别的原始数据,这些数据在需要经过压缩、预处理、上传、深度学习和推理,存储可以说与边缘计算和机器学习紧密联系在一起。
另一个例子就是我们的自动驾驶,如今的自动驾驶方案都是通过数据与高性能计算实现的,像特斯拉这样的厂商甚至自研自建芯片和超算,用于其自动驾驶技术的开发。自动驾驶测试车队每天都要将PB级的遥测传感数据传输给数据平台,随后经过标签、分类、错误检测和仿真,再放到大型存储系统中,而这样的大型存储平台不仅大小可能扩展至EB级,还要承受着仿真、再处理与机器学习的繁重负载。
在这些新场景给出的挑战下,兴起了一波新的技术,比如PCIe 4.0朝PCIe 5.0转变,光模块从200G朝400G的转变,使用GPU直接存储等专用协议等等。这些技术多数是对HPC存储在吞吐量上的提升,而更重要的是对特定工作流效率的优化。
HPC系统中存储的组成
在当下的HPC场景中,无论是本地部署还是云端环境,都需要一个计算平台,可能是CPU或是CPU+GPU/加速器的配置,这一节点可以充分利用3D Xpoint这样的持久内存,不仅可以提供低延迟的内存数据访问,在断电下不丢失数据,还可以用上DAOS这样分布式异步对象存储的文件系统。
Lustre文件系统 / Lustre
接着是存储平台,也就是并行文件系统的所在,这个系统可能是基于Lustre、Spectrum或是NVMe-oF的方案。但无论是哪种系统,考虑到需要低成本大容量,通常都会用到NVMe硬盘和HDD硬盘的混合方案,但这就提出了数据分布以及数据移动上的挑战。不过现在已经有了PCC/LROC这样的客户端持久性高速缓存,在存储或数据敏感的环境中,只需完成计算平台和存储平台相关的数据移动,进一步降低了I/O开销。
最后是数据的管理,这一部分属于对大量数据更加长期的存储,比如像波音这样的航空公司,需要对每一架飞机的细致数据存储50年以上,还要具备数据追溯的能力。这样的存储并不需要拥有高速的性能,但在前端的程序需要时提供即时的交互,而且为了节能考虑,要做到所谓的“零功耗存储”。
超算是怎么做的?
随着不少超算都已经在布局百亿亿级的系统,作为HPC中最顶端的应用,我们自然可以从中窥得一二,看一看当下主流的HPC存储方案。以计划于今年打造完成的Frontier超算为例,该超算将成为美国第一台百亿亿级别的超算,算力约为1.5 exaFLOPS。
Frontier超级计算机 / AMD
Frontier采取了AMD的全套方案,结合AMD的EPyc CPU和Radeon Instinct GPU,在AMD的缓存一致性互联方案下,CPU上的代码可以直接访问GPU内存,这也就是我们在上文提到的GPU直接存储技术。在存储系统上,Frontier用到了679PB基于Lustre+ZFS的文件系统方案,用47700块硬盘实现,最高速率可达5TB/s。高速存储上,共有5400块NVMe固态硬盘组成11PB的存储空间,提供10TB/s的读取速度。
Aurora超级计算机 / 英特尔
而Aurora同样作为今年推出的百亿亿级超算系统,则选择了英特尔的方案,单个计算节点由两个Xeon Sapphire Rapids、6个Xe Ponte Vecchio GPU和一个通用内存架构组成。其主要存储方案也选择了英特尔的DAOS文件系统,结合NVMe和傲腾持久内存,组成一套大于230PB的系统,并实现25TB/s的速度。
小结
在HPC存储上的挑战除了以上提到的这些外,还有近来兴起的存内计算激发的计算能力挑战,未来5年内,无论是存储结构、文件系统乃至存储材料都会再度迎来新的变化。这些变化会先一步解决HPC上的难题,再潜移默化地改善日常应用。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
存储
+关注
关注
13文章
4213浏览量
85555 -
HPC
+关注
关注
0文章
309浏览量
23641 -
超算
+关注
关注
1文章
114浏览量
9041
发布评论请先 登录
相关推荐
如何优化emc存储性能
在当今的数据中心环境中,存储性能对于业务连续性和数据访问速度至关重要。EMC作为领先的存储解决方案提供商,其产品线涵盖了从入门级到企业级的存储
内存储器的特点是速度快成本低容量小对吗
内存储器,通常指的是计算机系统中的随机存取存储器(RAM),是计算机硬件的重要组成部分。它负责存储计算机运行时的数据和程序,以便处理器快速访问。内存储器的特点包括
存储器中访问速度最快的是什么
在探讨存储器中访问速度最快的是哪一种时,我们首先需要了解计算机存储系统的层次结构以及各类存储器的特性和功能。计算机存储系统通常包括多个层次的
三星电子推出性能更强、容量更大的升级版1TB microSD 存储卡
microSD 存储卡 PRO Plus 和 EVO Plus 采用三星先进的 V-NAND 技术,可安全可靠地捕捉和存储日常瞬间 性能提升后,顺序读取速度高达 180MB/s,传输
锂电池灌封胶:不止于锂电池,更广泛的应用前景
封胶:不止于锂电池,更广泛的应用前景 锂电池灌封胶,作为电子工业中的一项重要材料,长久以来都以其卓越的防水、防潮、防震和导热性能,在锂电池的安全防护中发挥着不可替代的作用。然而,它的应用领域远不止于此
SolidWorks2024 不止于此但求优越
来了怎样的变革和提升?本文将从SolidWorks2024的新特性、应用领域的拓展以及对优越品质的追求三个方面,探讨SolidWorks2024如何不止于此,但求优越。
兆芯携手智云创新推出高性能NVMe企业级存储系统
面向持续增长的数字化转型与应用创新发展需求,兆芯携手智云创新,基于兆芯高性能自主处理器平台成功推出多款信创存储产品,包括高性能NVMe企业级存储系统、HS6000系列企业级
Hitek Systems开发基于PCIe的高性能加速器以满足行业需求
Hitek Systems 使用开放式 FPGA 堆栈 (OFS) 和 Agilex 7 FPGA,以开发基于最新 PCIe 的高性能加速器 (HiPrAcc),旨在满足网络、计算和高容量存储应用的需求。
NVMe Host Controller IP实现高性能存储解决方案
电子发烧友网站提供《NVMe Host Controller IP实现高性能存储解决方案.pdf》资料免费下载
发表于 02-21 14:28
•1次下载
佰维存储研发突破,为AI高性能计算赋能
近日,佰维存储在接受调研时透露,公司近期成功研发并发布了支持CXL2.0规范的CXLDRAM内存扩展模块。这款产品具有支持内存容量和带宽扩展、内存池化共享、高带宽、低延迟、高可靠性等优势,特别适合于AI高性能计算的应用。
The ONE 产品系列重磅上市,aigo打造高性能移动存储新体验!
近年来,数据规模呈爆炸式增长,传统存储方式已无法满足用户需求,冷数据存储应运而生。移动固态硬盘作为冷存储数据经验的延伸,以其高性能、大容量、
评论