0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

现有文件系统元数据管理的潜在缺陷

智能计算芯世界 来源:智能计算芯世界 作者:智能计算芯世界 2022-11-03 09:54 次阅读

在HPC计算和存储业务中,针对文件系统的IO请求中,一半以上是元数据访问。元数据访问特点:

I/O大小较小(元数据大小通常只有几百Byte),使得元数据服务器CPU的负载重

许多元数据操作包含多次子操作,例如打开文件需要进行多次的路径解析,使得元数据操作会触发多次网络I/O

当前,主流并行文件系统大多采用分布式解决方案中,Lustre、CephFS采用子树划分+目录条带化;BeeGFS根据名称的Hash值分布到多节点;GlusterFS采用无中心架构;IndexFS的元数据以KV存储,通过GIGA+算法分布到多节点。

现有文件系统元数据管理的潜在缺陷:1)POSIX的语义限制了元数据性能提升,2)数据结构不利于并发处理,3)元数据性能提升面临的机遇,如IO设备跨越式发展(NVMe SSD充裕的IOPS和带宽,多通道并发能力)。

针对文件系统元数据一直是文件系统的瓶颈问题,单点元数据性能仍然存在很大的提升空间,如没有充分发挥IO效能,没有充分发挥计算效能等,本文提出改进数据结构,降低IO之间的依赖,发挥并行IO能力(降低目录路径解析延迟,降低大目录访问延迟,降低数据块访问延迟)改进算法,发挥计算部件的并行计算能力等措施。

ae4569f4-5b09-11ed-a3b6-dac502259ad0.png

ae5cb000-5b09-11ed-a3b6-dac502259ad0.png

ae7fec96-5b09-11ed-a3b6-dac502259ad0.png

ae9a679c-5b09-11ed-a3b6-dac502259ad0.png

aeebf8dc-5b09-11ed-a3b6-dac502259ad0.png

af65a614-5b09-11ed-a3b6-dac502259ad0.png

afdc0ed0-5b09-11ed-a3b6-dac502259ad0.png

b0228e46-5b09-11ed-a3b6-dac502259ad0.png

b042d386-5b09-11ed-a3b6-dac502259ad0.png

b05b5c94-5b09-11ed-a3b6-dac502259ad0.png

b0e52dde-5b09-11ed-a3b6-dac502259ad0.png

b100e182-5b09-11ed-a3b6-dac502259ad0.png

b1d9fd5a-5b09-11ed-a3b6-dac502259ad0.png

b213196e-5b09-11ed-a3b6-dac502259ad0.png

b27ac53c-5b09-11ed-a3b6-dac502259ad0.png

b39871c6-5b09-11ed-a3b6-dac502259ad0.png

b3af8028-5b09-11ed-a3b6-dac502259ad0.png

b3eda33a-5b09-11ed-a3b6-dac502259ad0.png

b414b4c0-5b09-11ed-a3b6-dac502259ad0.png

b4465692-5b09-11ed-a3b6-dac502259ad0.png

b4681fa2-5b09-11ed-a3b6-dac502259ad0.png

针对文件系统元数据一直是文件系统的瓶颈问题,单点元数据性能仍然存在很大的提升空间,如没有充分发挥IO效能,没有充分发挥计算效能等,本文提出改进数据结构,降低IO之间的依赖,发挥并行IO能力(降低目录路径解析延迟,降低大目录访问延迟,降低数据块访问延迟)改进算法,发挥计算部件的并行计算能力等措施。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4261

    浏览量

    85667
  • 数据管理
    +关注

    关注

    1

    文章

    290

    浏览量

    19605
  • 文件系统
    +关注

    关注

    0

    文章

    284

    浏览量

    19883

原文标题:HPC并行文件:元数据如何纵向可扩展?

文章出处:【微信号:AI_Architect,微信公众号:智能计算芯世界】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Linux文件系统简介

    任何一个操作系统中,文件管理是其基本功能之一,而文件管理是由文件系统来完成的。
    发表于 04-15 11:46 2634次阅读
    Linux<b class='flag-5'>文件系统</b>简介

    进一步了解iMatrix平台核心功能之系统数据管理

    本帖最后由 imatrix 于 2013-7-30 11:15 编辑 iMatrix平台的系统数据管理是维护各系统定义的模型数据,包
    发表于 07-30 10:58

    数据管理功能详解

    库的情况下,执行即时搜索、实时修订,随时管理已发放设计文档,使得用户更轻松地采用标准、查找零件、管理设计变更、筛选重复模型等。此外,浩辰3D软件的数据管理工具,还可以对正在审核或已发放生产的设计
    发表于 11-03 15:32

    【学习打卡】OpenHarmony的分布式数据管理介绍

    时,应用程序和用户可以操作数据,无论数据是在本地还是在远程系统上。本地和远程文件处理的处理方式相同。数据管理过程包括不同功能的组合,可确保
    发表于 07-15 15:49

    采用信任管理的分布式文件系统TrustFs

    在传统的分布式文件系统中用户无法判断文件的可信任性,针对此问题提出采用信任管理的分布式文件系统TrustFs,使用数字签名对文件的发布者进行
    发表于 04-02 08:57 19次下载

    文件系统管理操作

    为了方便用户对设备存储设备进行有效的管理,设备提供了文件系统功能,实现对文件和目录的访问管理:用户可以通过命令行对文件进行创建、移动、拷贝、
    发表于 08-30 15:55 0次下载

    XfS文件系统,XfS文件系统是什么意思

    XfS文件系统,XfS文件系统是什么意思 XfS文件系统是SGI开发的高级日志文件系统,XFS极具伸缩性,非常健壮。所幸的是SGI将其移植到了Lin
    发表于 03-29 10:39 4252次阅读

    Ceph文件系统数据缓存备份

    针对Ceph文件系统数据写操作响应时间较长的问题,提出一种对数据缓存进行备份的方案。该方案采用多个
    发表于 02-08 15:38 0次下载
    Ceph<b class='flag-5'>文件系统</b>的<b class='flag-5'>数据</b>缓存备份

    文件系统是什么?浅谈EXT文件系统历史

    在先前关于Linux文件系统的文章中,我很想去深入地讨论更多EXT文件系统的特性的信息。所以,首先让我们来回答这个问题:什么是文件系统?一个文件系统应该遵循以下特点。
    发表于 06-28 09:03 5663次阅读
    <b class='flag-5'>文件系统</b>是什么?浅谈EXT<b class='flag-5'>文件系统</b>历史

    基于分布式文件系统数据操作优化

    。为了有效解决这一问题,工业界和学术界开发出基于各种设计架构和理念的分布式文件系统数据管理是分布式文件系统中一个重要的研究内容。
    发表于 02-24 13:46 0次下载
    基于分布式<b class='flag-5'>文件系统</b><b class='flag-5'>元</b><b class='flag-5'>数据</b>操作优化

    Linux 内核/sys 文件系统介绍

    linux2.6内核引入sysfs文件系统,sysfs可以看成与proc,devfs和devpty同类别的文件系统,该文件系统是虚拟的文件系统,可以更方便对
    发表于 04-25 16:20 4265次阅读
    Linux 内核/sys <b class='flag-5'>文件系统</b>介绍

    需要了解文件系统管理

    文件系统是基于操作系统的,用来管理和组织保存在磁盘驱动器上的数据系统软件,通过对数据存储布局/
    发表于 04-25 17:40 554次阅读
    需要了解<b class='flag-5'>文件系统管理</b>

    FATFS文件系统详解

    一、文件系统负责管理和存储文件信息的软件机构称为文件管理系统,简称
    发表于 11-29 09:51 29次下载
    FATFS<b class='flag-5'>文件系统</b>详解

    关于数据管理解析

    图书馆都会用一个叫作“图书目录”的文件夹来管理藏书,图书目录包含图书名称、编号、作者、主题、简介、摆放位置等信息,用来帮助图书管理管理和快速查找图书。
    的头像 发表于 05-05 16:01 1755次阅读

    Linux的文件系统特点

    ,近期经常被读取和写入,文件系统应该有缓存层。 文件应该用文件夹的形式组织起来,方便管理和查询。 Linux内核要在自己的内存里面维护一套数据
    的头像 发表于 11-09 14:48 1126次阅读
    Linux的<b class='flag-5'>文件系统</b>特点