在HPC计算和存储业务中,针对文件系统的IO请求中,一半以上是元数据访问。元数据访问特点:
I/O大小较小(元数据大小通常只有几百Byte),使得元数据服务器CPU的负载重
许多元数据操作包含多次子操作,例如打开文件需要进行多次的路径解析,使得元数据操作会触发多次网络I/O
当前,主流并行文件系统大多采用分布式解决方案中,Lustre、CephFS采用子树划分+目录条带化;BeeGFS根据名称的Hash值分布到多节点;GlusterFS采用无中心架构;IndexFS的元数据以KV存储,通过GIGA+算法分布到多节点。
现有文件系统元数据管理的潜在缺陷:1)POSIX的语义限制了元数据性能提升,2)数据结构不利于并发处理,3)元数据性能提升面临的机遇,如IO设备跨越式发展(NVMe SSD充裕的IOPS和带宽,多通道并发能力)。
针对文件系统元数据一直是文件系统的瓶颈问题,单点元数据性能仍然存在很大的提升空间,如没有充分发挥IO效能,没有充分发挥计算效能等,本文提出改进数据结构,降低IO之间的依赖,发挥并行IO能力(降低目录路径解析延迟,降低大目录访问延迟,降低数据块访问延迟)改进算法,发挥计算部件的并行计算能力等措施。
针对文件系统元数据一直是文件系统的瓶颈问题,单点元数据性能仍然存在很大的提升空间,如没有充分发挥IO效能,没有充分发挥计算效能等,本文提出改进数据结构,降低IO之间的依赖,发挥并行IO能力(降低目录路径解析延迟,降低大目录访问延迟,降低数据块访问延迟)改进算法,发挥计算部件的并行计算能力等措施。
-
存储
+关注
关注
13文章
4261浏览量
85667 -
数据管理
+关注
关注
1文章
290浏览量
19605 -
文件系统
+关注
关注
0文章
284浏览量
19883
原文标题:HPC并行文件:元数据如何纵向可扩展?
文章出处:【微信号:AI_Architect,微信公众号:智能计算芯世界】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论