0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

忆联SSD端到端数据保护技术——企业关键业务的“守护者”

UnionMemory忆联 来源:UnionMemory忆联 2023-05-18 16:54 次阅读

数据完整性是数据存储系统中关键的元素之一,对于企业而言,不一致的数据可能导致错误的业务决策,因此保障数据的完整性与一致性至关重要。

一、静默数据错误

在数据存储系统中,数据从主机端生成直至写入SSD NAND中,会经过多个部件、多种传输通道和复杂的软件处理过程,其中任意一个环节发生错误都可能会导致数据错误。但是这种错误一般无法被立即检测出来,而是后续通过应用在访问数据过程中才会发现,这种情况被称为静默数据破坏(Silent Data Corruption)。

静默数据错误问题是存在存储系统中最难解决的数据一致性问题之一。在数据通路传输过程中,每百万亿(10^13)比特中就会有概率出现bit错误,而链路传输大多采用CRC进行检错,CRC存在碰撞概率导致bit错误无法发现;在SSD内部数据传递过程中,大部分路径会经过SRAM,SRAM存在bit翻转概率,控制器一般采用ECC+CRC对路径保护,但仍然无法避免bit静默错误(极低概率)。

对于数据中心而言,维护数据安全至关重要。发生静默错误对应用层有很高的风险,如果应用系统可靠性设计不完善,一旦出现静默错误,会存在数据损坏且不可恢复的可能,因此支持DIF/DIX特性端到端的数据链路保护对SSD部件及系统层都十分重要。

二、NVMe SSD端到端保护

为确保主机与闪存之间数据的完整性,NVMe SSD提供了一个端到端的功能,即主机写入闪存的数据与最初主机写的数据必须一致,以及主机读到的数据与最初从闪存上读上来的数据也一致。

在OCP Clould Spec对端到端的需求定义中,要求每一段传输路径都应有纠/检错算法,降低数据传输过程中每一个环节出错的可能,规避静默错误的发生。如PCIe 每个TLP会通过ECRC(End-to-end CRC)进行校验、RAM有ECC保护、Flash接口有 RAID 保护,Scrambler 增加扰码以及CRC编解码保护和LDPC重读保护。

NVMe则是在控制器内添加保护信息PI)来检验数据一致性,这部分数据一般存放在DDR中(DDR有ECC保护)。具体则是给用户逻辑块(Logical Block)通过增加额外的8字节保护信息(PI),或者由主机软件添加≥8字节的元数据(Metadata),支持DIF/DIX模式,使得控制器和/或主机软件可以校验用户数据逻辑块的数据完整性和一致性。

三、什么是PI?

在端到端数据保护中,PI的使用尤为重要。PI全称Protection Information,即保护信息,是元数据的一种。

NVMe协议里定义SSD控制器可以支持给每个逻辑块(也就是用户数据)增加额外的元数据,以及主机如何使用元数据区域自定义(如分布式文件系统的元数据),元数据最常见的用途之一是传递PI端到端保护信息(end-to-end protection information)。

PI相当于逻辑块数据的保镖,有DIF和DIX两种数据保护机制,两者主要区别是 PI 信息的位置不同。具体选择哪种格式,要根据应用场景的具体需求。

DIF( Data Integrity Field ):保证HBA 、阵列和硬盘的数据完整性。

8f6270ce-f4c7-11ed-90ce-dac502259ad0.jpg

DIF实现的PI

DIX( Data Integrity Extensions ): 保证应用、HBA卡的数据完整性。

8f7dbda2-f4c7-11ed-90ce-dac502259ad0.jpg

DIX实现的PI

·PI信息的处理

Protection Information Field(PRINFO) 包括PRACT(Protection Information Action)和PRCHK(Protection Information Check) 字段。PRACT指明了PI信息生成的机制,PRCHK指明了controller收到包时检查的PI信息。

8f9b4f5c-f4c7-11ed-90ce-dac502259ad0.jpg

PRACT

=1时,

MD = 8B, SSD controller生成新的PI替代host传入的PI,并将其写入NAND;

MD>8B,host生成的PI直接传入SSD,替换MD的前8或者后8字节(这里还需要注意kernel是否支持)。

=0时, controller获取上层应用下发的PI信息,将检查PI信息并写入NAND。

PRCHK

Bit2=1,SSD在收到packet时,检查CRC;

Bit1=1,SSD在收到packet时,检查App Tag;

Bit0=1,SSD在收到packet时,检查Reference Tag。

四、忆联SSD端到端保护方案

作为一家领先的存储厂商,忆联长期以保障用户数据安全作为产品的核心基础,旗下企业级固态硬盘(ESSD)与数据中心级固态硬盘(DSSD)均支持DIF/DIX特性,以此提升硬盘的全链路数据保护能力。

·延伸至主机系统、应用的端到端保护

忆联SSD支持多种DIF配置,满足512+8、4K+8、4K+64字节多种情况的数据和元数据(含PI)的存储要求,支持从应用到Flash的端到端数据保护,并能有效杜绝data replacement故障发生的可能。

8fbbbb98-f4c7-11ed-90ce-dac502259ad0.jpg

·端到端冗余校验,提升数据可靠

忆联SSD通过保护整个传输路径中的数据来保障数据的完整性。在DDR内存上,采用ECC和CRC来防止DDR内存异常导致的数据错误和篡改;在NAND flash上,采用LDPC和CRC来防止由于NAND flash上的异常而导致的数据丢失;在DIE内,采用 XOR 算法来防止由于 DIE 或随机故障造成的数据丢失。

8fde83b2-f4c7-11ed-90ce-dac502259ad0.jpg

·应用级数据冗余校验 ,且业务性能不受影响

忆联SSD还通过支持DIF、DIX两种传输方式,不仅在盘内提供DPP数据路径保护,更能够与系统配合,实现端到端的保护,确保从系统到盘片整个通路的数据安全,从而为多种极端场景下系统的正常运维提供双重保护。

9005d124-f4c7-11ed-90ce-dac502259ad0.jpg

数据安全一直是信息技术中的一个重要问题。伴随着数字化转型进程的不断深入,风险也随之而来,企业数据的存储安全问题也越来越突出。忆联凭借在存储领域多年的积累,为用户提供极致体验的同时,更能为企业数据存储做好坚实的保障。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 控制器
    +关注

    关注

    112

    文章

    15562

    浏览量

    173603
  • SSD
    SSD
    +关注

    关注

    20

    文章

    2734

    浏览量

    116081
  • 数据存储
    +关注

    关注

    5

    文章

    928

    浏览量

    50691
  • 存储系统
    +关注

    关注

    2

    文章

    390

    浏览量

    40751
  • nvme
    +关注

    关注

    0

    文章

    195

    浏览量

    22438

原文标题:忆联SSD端到端数据保护技术——企业关键业务的“守护者”

文章出处:【微信号:UnionMemory忆联,微信公众号:UnionMemory忆联】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    基于WiMAX接入技术网络架构

    基于WiMAX接入技术网络架构 本文首先分析了WiMAX技术的市场驱动力和影响其成功部署的关键
    发表于 10-20 21:03 706次阅读

    基于光纤技术通信技术

    本文介绍了使用先进光纤技术通信。它简要讨论了与能量消耗成正比的数据速率之间的关系,Coolbit光学引擎产品
    的头像 发表于 04-13 12:21 1732次阅读
    基于光纤<b class='flag-5'>技术</b>的<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>通信<b class='flag-5'>技术</b>

    由太阳能供电基于声学事件构建非法记录检测的森林守护者

    电子发烧友网站提供《由太阳能供电基于声学事件构建非法记录检测的森林守护者.zip》资料免费下载
    发表于 11-15 10:33 0次下载
    由太阳能供电基于声学事件构建非法记录检测的森林<b class='flag-5'>守护者</b>

    SafeKeeper安全守护者

    电子发烧友网站提供《SafeKeeper安全守护者.zip》资料免费下载
    发表于 11-24 14:50 0次下载
    SafeKeeper安全<b class='flag-5'>守护者</b>

    构建的流程体系

    所谓流程的架构体系,就是一套有层次的流程管理体系。这种层次体现在由上至下、由整体
    的头像 发表于 06-01 15:09 1552次阅读
    构建<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>的流程体系

    SSD多款产品成功通过PCI-SIG、UNH-IOL等多项权威认证

    近日,企业级和数据中心级SSD多款产品成功通过PCI-SIG、UNH-IOL和微软WHQL三家权威机构的全部测试流程,并取得认证。这表明
    的头像 发表于 06-02 15:40 815次阅读
    <b class='flag-5'>忆</b><b class='flag-5'>联</b><b class='flag-5'>SSD</b>多款产品成功通过PCI-SIG、UNH-IOL等多项权威认证

    Buggy QXA3场地守护者开源分享

    电子发烧友网站提供《Buggy QXA3场地守护者开源分享.zip》资料免费下载
    发表于 07-13 09:59 0次下载
    Buggy QXA3场地<b class='flag-5'>守护者</b>开源分享

    嵌入式OS设计策略解读|企业SSD高可靠、高性能的实现方法

    等需求,设计并开发了适合SSD的嵌入式操作系统(Operating System,缩写:OS),并在其上构建了可复制性强的SSD 控制器软件系统。 嵌入式软件分为三个层次,即驱动层
    的头像 发表于 08-03 08:05 337次阅读
    嵌入式OS设计策略解读|<b class='flag-5'>忆</b><b class='flag-5'>联</b><b class='flag-5'>企业</b>级<b class='flag-5'>SSD</b>高可靠、高性能的实现方法

    国产企业SSD厂商恒创源开启上市辅导

    北京恒创源科技股份有限公司(Memblaze)是国内企业级nvme ssd产品及技术解决方案提供商,成立于2011年,是世界上最早进行企业
    的头像 发表于 08-28 11:01 1547次阅读

    佰维存储工规级SSD守护工业数据安全

    在工业领域,数据安全是至关重要的。为此,佰维存储凭借自主研发和技术创新,为工业及自动化应用量身打造了一系列工规级SSD、嵌入式存储芯片及内存模组产品,成为工业数据安全的坚实
    的头像 发表于 03-26 09:59 263次阅读

    GPS信号屏蔽器:守护隐私与安全的隐形守护者

    深圳特信电子|GPS信号屏蔽器:守护隐私与安全的隐形守护者
    的头像 发表于 04-12 09:03 299次阅读

    “隐形守护者“——连接器

    “隐形守护者“连接器,这个看似简单的电子元件,却承担着连接、传输电流或信号的重要任务。它们如同电子设备中的“隐形守护者”,默默地在背后支撑着整个系统的运行。无论是通信、汽车、医疗还是航空航天等领域
    的头像 发表于 05-08 08:03 529次阅读
    “隐形<b class='flag-5'>守护者</b>“——连接器

    EMC与EMI滤波器:电磁兼容性与干扰抑制的守护者

    深圳比创达|EMC与EMI滤波器:电磁兼容性与干扰抑制的守护者
    的头像 发表于 06-12 10:23 154次阅读
    EMC与EMI滤波器:电磁兼容性与干扰抑制的<b class='flag-5'>守护者</b>

    推出高性能企业级SATA SSD UM311b

    近日,面向企业级高可靠业务场景,推出高性能、高可靠、高性价比的企业级SATA SSD UM3
    的头像 发表于 06-29 10:22 154次阅读
    <b class='flag-5'>忆</b><b class='flag-5'>联</b>推出高性能<b class='flag-5'>企业</b>级SATA <b class='flag-5'>SSD</b> UM311b

    推出企业级SATA SSD UM311b,提供稳定可靠的存储服务

    在当今数字化快速发展的时代,企业级高可靠业务场景对于数据存储的需求日益增强。为了满足这一需求,科技近日正式推出了一款高性能、高可靠、高性
    的头像 发表于 06-29 11:09 320次阅读