0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

文件系统的分布式分发过程

华为产品资料 来源:华为产品资料 作者:华为产品资料 2022-07-01 14:41 次阅读

什么是分布式文件系统

在传统NAS文件系统架构中,一般采用Active-Passive架构,文件系统归属某1个控制器,在创建文件系统的时候,需要对文件系统的归属进行规划,采用多个文件系统运行在不同的控制器上,实现系统中每个控制器的负载均衡。

这样的NAS架构,1个文件系统只能发挥1个控制器的硬件性能,无法把多控制器的硬件资源都利用起来获得更高的性能,因此无法支持单一命名空间。如果采用创建多个文件系统,由于不同文件系统的业务压力各不相同,也很难以实现系统的负载均衡。

华为闪存存储采用分布式文件系统架构,文件系统没有控制器归属约束,通过均衡算法将文件系统的目录和文件均衡分布到集群中每个控制器,实现每个控制器负载自动均衡,1个文件系统也能将整个存储集群的资源充分利用达到系统的最大性能和容量能力,客户可以免规划轻松使用单文件系统或者多个文件系统方式部署使用。

文件系统的分布式分发过程

文件系统分布式分发过程就是将目录和子文件设置到不同的FSP(File Service Partition,用于承载文件系统目录和文件的逻辑分区,均衡分布在所有控制器的vNode上)中运行,从而达到将文件系统的目录和文件分发到所有CPU处理的过程。

139bbdd6-f790-11ec-ba43-dac502259ad0.png

分布式策略——目录均衡模式

目录均衡模式可以消除单个控制器或CPU瓶颈,客户端创建的目录均衡分布在所有的CPU或控制器上,发挥存储所有控制器和CPU性能。1、将文件系统的一级和二级目录均衡地分发到不同的FSP上。海量文件共享场景下,一二级目录访问频繁,这样可让系统先达到基本的均衡性

2、从第三级目录开始,优先选择该目录的父目录所在的vNode进行分发,这样可减少深层次目录访问的跨控转发开销,获得较好的处理时延。

13b10376-f790-11ec-ba43-dac502259ad0.png

分布式策略——性能模式

无论一、二级目录或更深层次的目录,都优先选择挂载IP所在的控制器,在该控制器以内的FSP进行轮询分发。这样,在一个IP地址以下所有的目录读写都没有IO转发,获得最佳的读写性能。

性能模式可以最大化发挥存储系统的读写性能,但对IO模型有一定要求,适合于对性能要求较高,并且每个客户端会自己管理自己的目录和文件的场景。

13d96f64-f790-11ec-ba43-dac502259ad0.png

原文标题:闪存存储如何实现分布式文件系统架构

文章出处:【微信公众号:华为产品资料】欢迎添加关注!文章转载请注明出处。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 控制器
    +关注

    关注

    112

    文章

    16197

    浏览量

    177395
  • 硬件
    +关注

    关注

    11

    文章

    3252

    浏览量

    66111
  • 文件系统
    +关注

    关注

    0

    文章

    284

    浏览量

    19883

原文标题:闪存存储如何实现分布式文件系统架构

文章出处:【微信号:huaweidoc,微信公众号:华为产品资料】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Linux根文件系统的挂载过程

    Linux根文件系统(rootfs)是Linux系统中所有其他文件系统和目录的起点,它是内核启动时挂载的第一个文件系统
    的头像 发表于 10-05 16:50 268次阅读

    想提高开发效率,不要忘记文件系统

    ​同学们都知道,开发过程中文件系统的重要性,同样的,4G-Cat.1模组的文件系统也非常重要,它通常与数据传输速度、存储效率,以及数据安全性等有非常重要的关系,在应用开发中也非常重要。
    的头像 发表于 09-21 08:18 198次阅读
    想提高开发效率,不要忘记<b class='flag-5'>文件系统</b>

    如何修改buildroot和debian文件系统

    本文档主要介绍在没有编译环境的情况下,如何修改buildroot和debian文件系统方法,如在buildroot文件系统中添加文件、修改目录等文件操作,在debian
    的头像 发表于 07-22 17:46 416次阅读
    如何修改buildroot和debian<b class='flag-5'>文件系统</b>

    分布式SCADA系统的特点的组成

    在工业自动化和能源管理领域,SCADA(Supervisory Control And Data Acquisition)系统扮演着至关重要的角色。其中,分布式SCADA系统凭借其独特的结构和功能
    的头像 发表于 06-07 14:43 489次阅读

    华为分布式存储连续三年荣膺2024年Gartner“客户之选”

    近日,全球权威咨询与分析机构Gartner发布《2024年Gartner Peer InsightsTM 分布式文件系统与对象存储“客户之声”》报告,华为凭借其OceanStor分布式存储解决方案再次荣获“客户之选”殊荣,这已是
    的头像 发表于 05-24 10:12 673次阅读

    浪潮信息发布AS13000G7-N系列分布式全闪存储

    浪潮信息近日推出了专为大型AI模型优化的AS13000G7-N系列分布式全闪存储。该系列基于浪潮信息自研的分布式文件系统,结合新一代数据加速引擎DataTurbo,为用户提供卓越的存储解决方案。
    的头像 发表于 05-14 10:03 520次阅读

    浪潮信息发布为大模型专门优化的分布式全闪存储AS13000G7-N系列

    近日,浪潮信息发布为大模型专门优化的分布式全闪存储AS13000G7-N系列。该系列依托浪潮信息自研分布式文件系统,搭载新一代数据加速引擎DataTurbo,
    的头像 发表于 05-08 09:38 510次阅读
    浪潮信息发布为大模型专门优化的<b class='flag-5'>分布式</b>全闪存储AS13000G7-N系列

    分布式无纸化交互系统的优势:提高效率与降低成本

    首先,分布式无纸化交互系统能够显著提高会议的效率。通过电子化的方式传递和展示会议材料,避免了纸质文件的打印、分发等繁琐流程,从而大幅提升了会议的效率。此外,与会者可以通过电子设备随时查
    的头像 发表于 01-15 14:18 320次阅读

    什么是分布式架构?

    分布式架构是指将一个系统或应用拆分成多个独立的节点,这些节点通过网络连接进行通信和协作,以实现共同完成任务的一种架构模式。这种架构模式旨在提高系统的可扩展性、可靠性和性能表现。 一、分布式
    的头像 发表于 01-12 15:04 1162次阅读
    什么是<b class='flag-5'>分布式</b>架构?

    分布式IO工业自动化数据采集与分析的核心

    代替人工操纵机器和机器体系进行加工生产的趋势,分布式I/O可以与各种传感器、执行器和控制系统相连接,实现生产线的自动化控制。通过实时采集和传输数据,分布式I/O能够精确控制生产过程中的
    发表于 12-28 14:47

    鸿蒙原生应用开发——分布式数据对象

    01、什么是分布式数据对象 在可信组网环境下,多个相互组网认证的设备将各自创建的对象加入同一个 sessionId,使得加入的多个数据对象之间可以同步数据,也就是说,当某一数据对象属性发生
    发表于 12-08 10:01

    分布式系统硬件资源池原理和接入实践

    /distributed_hardware_components_cfg.json 三个接口的 so 实现后,编译打包到系统库路径下,同时配置到分布式硬件部件配置文件中,设备组网上线后,可以看到
    发表于 12-06 10:02

    redis分布式锁的应用场景有哪些

    系统中,多个节点可能同时访问共享资源,例如数据库、文件系统等。使用Redis分布式锁可以保证在同一时刻只有一个节点能够访问该资源,避免了并发冲突问题,确保数据的一致性。 分布式任务调度
    的头像 发表于 12-04 11:21 1394次阅读

    zookeeper分布式原理

    是提供一个高可用的、一致性的机制,用于解决分布式系统中常见的一致性问题,比如Leader选举、分布式锁等。在本文中,我们将详细介绍Zookeeper的原理和工作机制。 数据模型 Zookeeper的数据模型是一个类似于
    的头像 发表于 12-03 16:33 619次阅读

    分布式通信是什么 分布式网络搭建

    智能机器人的功能繁多,全都放在一个计算机里,经常会遇到计算能力不够、处理出现卡顿等情况,如果可以将这些任务拆解,分配到多个计算机中运行岂不是可以减轻压力? 这就是分布式系统,可以实现多计算平台
    的头像 发表于 11-27 15:49 746次阅读
    <b class='flag-5'>分布式</b>通信是什么 <b class='flag-5'>分布式</b>网络搭建