0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

文件系统的分布式分发过程

华为产品资料 来源:华为产品资料 作者:华为产品资料 2022-07-01 14:41 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

什么是分布式文件系统

在传统NAS文件系统架构中,一般采用Active-Passive架构,文件系统归属某1个控制器,在创建文件系统的时候,需要对文件系统的归属进行规划,采用多个文件系统运行在不同的控制器上,实现系统中每个控制器的负载均衡。

这样的NAS架构,1个文件系统只能发挥1个控制器的硬件性能,无法把多控制器的硬件资源都利用起来获得更高的性能,因此无法支持单一命名空间。如果采用创建多个文件系统,由于不同文件系统的业务压力各不相同,也很难以实现系统的负载均衡。

华为闪存存储采用分布式文件系统架构,文件系统没有控制器归属约束,通过均衡算法将文件系统的目录和文件均衡分布到集群中每个控制器,实现每个控制器负载自动均衡,1个文件系统也能将整个存储集群的资源充分利用达到系统的最大性能和容量能力,客户可以免规划轻松使用单文件系统或者多个文件系统方式部署使用。

文件系统的分布式分发过程

文件系统分布式分发过程就是将目录和子文件设置到不同的FSP(File Service Partition,用于承载文件系统目录和文件的逻辑分区,均衡分布在所有控制器的vNode上)中运行,从而达到将文件系统的目录和文件分发到所有CPU处理的过程。

139bbdd6-f790-11ec-ba43-dac502259ad0.png

分布式策略——目录均衡模式

目录均衡模式可以消除单个控制器或CPU瓶颈,客户端创建的目录均衡分布在所有的CPU或控制器上,发挥存储所有控制器和CPU性能。1、将文件系统的一级和二级目录均衡地分发到不同的FSP上。海量文件共享场景下,一二级目录访问频繁,这样可让系统先达到基本的均衡性

2、从第三级目录开始,优先选择该目录的父目录所在的vNode进行分发,这样可减少深层次目录访问的跨控转发开销,获得较好的处理时延。

13b10376-f790-11ec-ba43-dac502259ad0.png

分布式策略——性能模式

无论一、二级目录或更深层次的目录,都优先选择挂载IP所在的控制器,在该控制器以内的FSP进行轮询分发。这样,在一个IP地址以下所有的目录读写都没有IO转发,获得最佳的读写性能。

性能模式可以最大化发挥存储系统的读写性能,但对IO模型有一定要求,适合于对性能要求较高,并且每个客户端会自己管理自己的目录和文件的场景。

13d96f64-f790-11ec-ba43-dac502259ad0.png

原文标题:闪存存储如何实现分布式文件系统架构

文章出处:【微信公众号:华为产品资料】欢迎添加关注!文章转载请注明出处。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 控制器
    +关注

    关注

    114

    文章

    17909

    浏览量

    195725
  • 硬件
    +关注

    关注

    13

    文章

    3663

    浏览量

    69216
  • 文件系统
    +关注

    关注

    0

    文章

    305

    浏览量

    21074

原文标题:闪存存储如何实现分布式文件系统架构

文章出处:【微信号:huaweidoc,微信公众号:华为产品资料】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    AI Ceph 分布式存储教程资料大模型学习资料2026

    的快速扩缩容,分布式存储必须支持模型文件的秒级分发。通过利用分层存储策略,将冷数据归档至廉价的大容量 HDD,将热数据(如活跃的模型权重)置于高性能 SSD,并结合全局命名空间的技术,AI
    发表于 05-01 17:35

    分布式迭代求解策略:分布式混合电推进系统飞发一体化设计与能量管理协同优化方法

    随着全球航空业对绿色环保要求的不断提高,分布式混合电推进系统作为传统航空动力向全电飞行器过渡的关键技术,展现出巨大的发展潜力。本文围绕半涡电分布式推进系统的动态实时建模与控制方法展开
    的头像 发表于 03-27 08:54 319次阅读
    <b class='flag-5'>分布式</b>迭代求解策略:<b class='flag-5'>分布式</b>混合电推进<b class='flag-5'>系统</b>飞发一体化设计与能量管理协同优化方法

    零碳园区自主供能模式的分布式光伏系统

    在零碳园区自主供能体系中,分布式光伏系统是 “就近发电、就近消纳” 的核心载体,其类型选择需适配园区屋顶、空地、水域等不同空间资源,匹配生产、办公、生活等多元用能场景。不同分布式光伏系统
    的头像 发表于 12-20 10:21 558次阅读
    零碳园区自主供能模式的<b class='flag-5'>分布式</b>光伏<b class='flag-5'>系统</b>

    如何解决分布式光伏计量难题?

    %。同时,可提升发电效率、降低发电成本的新型技术逐步落地,推动光伏系统向更高效、更紧凑的方向发展,进而对电表在精度、数据更新速度及适配性方面也提出了更高要求。 分布式光伏遇计量难题 分布式光伏常用 “自己发的电自己用,用不完的卖
    的头像 发表于 11-07 14:55 483次阅读
    如何解决<b class='flag-5'>分布式</b>光伏计量难题?

    从 “单一控制” 到 “智能可视”:分布式系统与传统音视频控制系统的关键区别

    分布式可视化控制系统与传统的音视频控制系统的区别主要体现在以下几个方面: 1.系统架构:分布式可视化控制
    的头像 发表于 10-21 10:52 603次阅读

    【节能学院】Acrel-1000DP分布式光伏监控系统在奉贤平高食品 4.4MW 分布式光伏中应用

    摘要:在“双碳”和新型电力系统建设背景下,分布式光伏接入比例不断提高,对配电网电压、调度运行及调峰等环节造成强烈冲击。本文设计包含平台层、设备层二层架构体系的分布式光伏管控平台,以及小容量工商业
    的头像 发表于 08-23 08:04 3736次阅读
    【节能学院】Acrel-1000DP<b class='flag-5'>分布式</b>光伏监控<b class='flag-5'>系统</b>在奉贤平高食品 4.4MW <b class='flag-5'>分布式</b>光伏中应用

    分布式光伏发电监测系统技术方案

    分布式光伏发电监测系统技术方案 柏峰【BF-GFQX】一、系统目标 :分布式光伏发电监测系统旨在通过智能化的监测手段,实现对
    的头像 发表于 08-22 10:51 3579次阅读
    <b class='flag-5'>分布式</b>光伏发电监测<b class='flag-5'>系统</b>技术方案

    Linux三大主流文件系统解析

    还在为选择哪个文件系统而纠结?作为一名摸爬滚打多年的运维老鸟,我将用最接地气的方式,带你彻底搞懂 Linux 三大主流文件系统的奥秘。
    的头像 发表于 08-05 17:37 1870次阅读

    园区分布式光伏发电监控系统

    简婷 安科瑞电气股份有限公司 上海嘉定  201801 技术支持18701998775 园区部署分布式光伏发电监控系统,是实现光伏项目高效运营、风险可控、收益大的核心保障,其必要性体现在以下多个维度
    的头像 发表于 07-31 15:49 1324次阅读
    园区<b class='flag-5'>分布式</b>光伏发电监控<b class='flag-5'>系统</b>

    分布式光伏总出问题?安科瑞分布式光伏监控系统来“救场”

    一、分布式光伏的痛点大揭秘 在 “双碳” 目标的大力推动下,分布式光伏作为绿色能源领域的重要力量,正以前所未有的速度蓬勃发展,越来越多的企业和家庭选择安装分布式光伏系统。然而,随着
    的头像 发表于 07-16 16:50 1012次阅读
    <b class='flag-5'>分布式</b>光伏总出问题?安科瑞<b class='flag-5'>分布式</b>光伏监控<b class='flag-5'>系统</b>来“救场”

    Ceph分布式存储系统解析

    在当今数据爆炸的时代,企业对存储系统的需求日益增长,传统的集中式存储已经无法满足大规模数据处理的要求。分布式存储系统应运而生,而Ceph作为开源分布式存储
    的头像 发表于 07-14 11:15 1310次阅读

    EtherCAT科普系列(15):EtherCAT技术在分布式测控系统领域应用

    分布式测控系统即集散控制系统,是一种以控制器和现场设备为基础,将相关工艺信号汇集到系统中,并由操作站进行监视或其他控制操作,用于实现对生产过程
    的头像 发表于 07-08 11:17 1376次阅读
    EtherCAT科普系列(15):EtherCAT技术在<b class='flag-5'>分布式</b>测控<b class='flag-5'>系统</b>领域应用

    分布式光伏发电监控系统

    对高、低压并网分布式光伏电站的升压系统、光伏逆变器等设备进行全面监控,采集微机保护装置、自动控制设备、电能质量监测装置、光伏逆变器、一体化电源等设备数据,并提供有功功率控制(AGC)、电压无功综合
    的头像 发表于 06-25 13:41 1254次阅读
    <b class='flag-5'>分布式</b>光伏发电监控<b class='flag-5'>系统</b>

    双电机分布式驱动汽车高速稳定性机电耦合控制

    摘要:为了利用所设计的双电机防滑差速驱动系统来提高分布式驱动汽车的动力学性能,在前期同轴耦合驱动控制理论研究的基础上,开展该车的高速稳定性机电耦合控制研究。建立并验证包含所设计驱动系统在内的
    发表于 06-18 16:37

    服务器数据恢复—ocfs2文件系统被格式化为Ext4文件系统的数据恢复案例

    服务器存储数据恢复环境&故障: 人为误操作将Ext4文件系统误装入一台服务器存储上的Ocfs2文件系统数据卷上,导致原Ocfs2文件系统被格式化为Ext4文件系统
    的头像 发表于 06-10 12:03 957次阅读
    服务器数据恢复—ocfs2<b class='flag-5'>文件系统</b>被格式化为Ext4<b class='flag-5'>文件系统</b>的数据恢复案例