0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

分布式存储系统与纠删码技术背景

存储加速器 来源:存储产业技术创新战略联 作者:存储产业技术创新 2021-06-01 11:31 次阅读

01

分布式存储系统与纠删码技术背景

分布式存储是当代大数据的基本存在形式,在工业界和学术界已经得到深入研究和高度重视,为了解决大规模存储带来的磁盘故障,跨节点直接复制数据包存储是最简单的解决方案。分布式存储能增强存储系统可靠性、柔性生存力、抗数据损毁风险;是实现网络热点访问负载均衡的技术途径、提高边缘计算的处理效率;能达成数据共享服务和隐私保护的便利性。

02

存储系统局部再生修复技术的兴起

数据编码分布式存储有明显的短板,从而提出分布式存储的局部可修复问题和热数据节点负载平衡问题。归纳为发展局部再生修复编码技术的源动力包括减少修复成本以提高维护效率,负载均衡与边缘计算服务。当今分布式存储的新需求是节点数据间接访问的局部重构开销问题和节点数据的局部修复开销问题。

03

局部可修复码LRC及其技术发展态势

分布式存储的局部修复码LRC是一个欲求解的科学问题,分布式数据的局部再生的性能参数直接的制约博弈关系。分布式存储的局部修复码研究现状:LRC码性能界的上限和LRC纠删码的具体构造办法,此处列举了实例和成果。

04

Remarks and Summary

从应用需求看,LRC或RGC纠删码尚存在的不足和倾向如下:

LRC和RGC纠删码的研究存在瓶颈,未来十年需要大家一起挑战存储纠删码,提升优异技术性能。

随着计算机技术和存储技术的发展,数据正以爆炸式的速度增长,海量数据对存储系统提出了巨大的挑战。纠删码技术以牺牲CPU计算量和网络负载为代价,提高存储空间利用率,同时提供近似副本的可靠性。 本篇文章聚焦于分布式存储系统中的纠删码技术,将丰富的理论和工程实践经验加以糅合,探讨可局部再生修复纠删码技术用于提高分布式存储可靠性的实质问题,有助于存储产业在分布式存储架构层面上不断探索和完善。

原文标题:分布式存储系统中的纠删码技术:可局部再生修复技术

文章出处:【微信公众号:存储加速器】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4296

    浏览量

    85797
  • LCR
    LCR
    +关注

    关注

    0

    文章

    130

    浏览量

    20712
  • 大数据
    +关注

    关注

    64

    文章

    8882

    浏览量

    137392

原文标题:分布式存储系统中的纠删码技术:可局部再生修复技术

文章出处:【微信号:TopStorage,微信公众号:存储加速器】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    浅谈屋顶分布式光伏发电技术的设计与应用

    分布式光伏发电系统组成,探讨屋顶分布式光伏发电技术的应用优势和应用方式,并以某项目为例研究屋顶分布式光伏发电
    的头像 发表于 11-11 15:10 443次阅读
    浅谈屋顶<b class='flag-5'>分布式</b>光伏发电<b class='flag-5'>技术</b>的设计与应用

    WDS分布式存储系统软件助力电信工程海量数据存储项目

    WDS分布式存储系统软件助力电信工程海量数据存储项目
    的头像 发表于 11-11 09:59 179次阅读
    WDS<b class='flag-5'>分布式</b><b class='flag-5'>存储系统</b>软件助力电信工程海量数据<b class='flag-5'>存储</b>项目

    分布式存储费用高吗?大概需要多少钱

    分布式存储的费用是否高,取决于多个因素,包括存储容量、性能要求、服务提供商、计费模式等。因此,无法简单地给出一个“高”或“不高”的答案。通常分布式
    的头像 发表于 09-24 10:41 255次阅读

    基于分布式存储系统医疗影像数据存储解决方案

    基于分布式存储系统医疗影像数据存储解决方案
    的头像 发表于 09-14 09:53 303次阅读
    基于<b class='flag-5'>分布式</b><b class='flag-5'>存储系统</b>医疗影像数据<b class='flag-5'>存储</b>解决方案

    基于DPU的Ceph存储解决方案

    1. 方案背景和挑战 Ceph是一个高度可扩展、高性能的开源分布式存储系统,设计用于提供优秀的对象存储、块存储和文件
    的头像 发表于 07-15 13:44 1300次阅读
    基于DPU的Ceph<b class='flag-5'>存储</b>解决方案

    黑龙江电力高性能WDS分布式存储系统解决方案

    黑龙江电力高性能WDS分布式存储系统解决方案
    的头像 发表于 07-01 09:54 364次阅读
    黑龙江电力高性能WDS<b class='flag-5'>分布式</b><b class='flag-5'>存储系统</b>解决方案

    华为分布式存储连续三年荣膺2024年Gartner“客户之选”

    近日,全球权威咨询与分析机构Gartner发布《2024年Gartner Peer InsightsTM 分布式文件系统与对象存储“客户之声”》报告,华为凭借其OceanStor分布式
    的头像 发表于 05-24 10:12 706次阅读

    浪潮信息发布AS13000G7-N系列分布式全闪存储

    浪潮信息近日推出了专为大型AI模型优化的AS13000G7-N系列分布式全闪存储。该系列基于浪潮信息自研的分布式文件系统,结合新一代数据加速引擎DataTurbo,为用户提供卓越的
    的头像 发表于 05-14 10:03 560次阅读

    分布式存储系统的七大原则之二:区分环境数据与业务数据

    在之前讨论的分布式存储系统七大原则的第一原则中,我们了解了容灾切换和数据备份的差异。现在,我们继续探索第二原则:区分环境数据与业务数据。这一原则强调了两种类型数据在变化频率、价值以及数据一致性获取
    的头像 发表于 03-11 09:42 359次阅读

    大数据时代的存储革命:理解分布式存储系统

    数据管理的效率极低。因此,分布式存储系统应运而生。 分布式存储就是将数据存储在众多的服务器或网络节点上,而不是集中在单个位置。这种方式的好处
    的头像 发表于 03-07 15:40 421次阅读

    分布式存储与计算:大数据时代的解决方案

    分布式存储和计算技术应运而生,并迅速成为处理大数据的首选方案。本文将深入探讨分布式存储和计算的概念、优势及其在各个领域的应用情况。 1.
    的头像 发表于 03-07 14:42 752次阅读

    得瑞领新参编团体标准《高性能计算 分布式存储系统技术要求》正式发布

    得瑞领新参编的《高性能计算 分布式存储系统技术要求》团标由中国电子工业标准化技术协会正式发布,这标志着得瑞在高性能计算和分布式
    的头像 发表于 03-01 10:00 453次阅读
    得瑞领新参编团体标准《高性能计算 <b class='flag-5'>分布式</b><b class='flag-5'>存储系统</b><b class='flag-5'>技术</b>要求》正式发布

    分布式大屏控制系统的工作原理

    分布式大屏控制系统是一种基于分布式计算、云计算和大数据技术的控制系统,具有高效、稳定、灵活的特点。该系统
    的头像 发表于 01-29 14:24 743次阅读

    保障数据完整性:分布式无纸化交互系统的关键特性

    系统应采用可靠的数据传输协议,保证数据在传输过程中不发生丢失或被篡改。此外,系统还应采用端到端加密技术,确保数据在传输过程中的安全性。 其次,对于数据的存储
    的头像 发表于 01-15 14:28 345次阅读
    保障数据完整性:<b class='flag-5'>分布式</b>无纸化交互<b class='flag-5'>系统</b>的关键特性

    【Vsan数据恢复】Vsan分布式存储虚拟磁盘文件丢失的数据恢复案例

    一套vsan分布式存储架构有数台服务器节点,该vsan分布式存储架构配置了固态硬盘和机械硬盘,固态硬盘作为缓存盘使用,机械硬盘作为容量盘使用。 机房供电异常导致服务器异常关机,工作人
    的头像 发表于 01-03 16:39 616次阅读