0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

迈入ZB时代的全新存储架构思路

电子工程师 来源:PChome 2019-09-26 13:07 次阅读

在过去一年中,几大闪存供应商都在采取手段阻止价格下滑,包括削减投资、减少产能、延迟新工厂投产等,虽然效果不是立竿见影,但预计到2020年随着5G智能手机、企业、机器生成的数据推动着数据中心的存储容量快速地从PB级扩展到EB级,需求的持续提升会令存储市场逐渐回暖。

西部数据高级副总裁兼中国区总经理Steven Craig

“为什么我会这么乐观?因为整个2018年全球产生数据约32ZB,到2023年会有超过100ZB的数据产生,这会改变我们对整个存储行业的看法和预期。“在日前于深圳举办的闪存市场峰会(CFMS2019)上,西部数据高级副总裁兼中国区总经理Steven Craig对闪存市场表达了乐观的态度。

目前我们的数据源主要有三个,包括边缘数据、末端数据,以及在云端(核心端)将大数据转换成经过处理的智能信息。据IDC报告指出,2018年全球产生的32ZB数据中,只有5ZB(Zettabyte,十万亿亿字节 ,1ZB约等于1万亿GB)被存储了下来。

到2023年,大于90%的数据将由机器生成,5G、人工智能机器学习,包括视频监控,甚至4K、8K视频的广泛应用,都催生了海量数据产生。届时存储量将会上升到12ZB,但占据产生数据量的比例却由2018年的15%下降到10%左右。

Steven Craig表示:“这就是我们面临最核心的问题,数据产生后只有一小部分会存储下来。存储行业整个生态环境还没有跟上新的趋势,我们必须要转变思维模式,为未来更大规模的数据存储准备好相关的技术。”

应对数据爆炸,SSD成本吃不消

逐步增长SSD的用量是一个方法,NAND Flash层数的增长也可以进一步增加存储密度。从2014年的24层,到2016年的到48层,2017年的64层,再到2018年的96层以及明年的1XX层……NAND层数似乎也有了一个类似摩尔定律的更新迭代周期。

单纯增加层数的方法看起来最简单,但实际上会增加更多的成本。层数增加,意味着要制造更多的晶圆,导致每平方米单位面积的存储成本上升,如上图所示3D NAND迭代的资本密度。我们需要多管齐下。首先需要不断缩小闪存孔规格,让存储孔(MH)密度不断提升;再来是升维扩展,也就是Z轴纵向发展提升层数,让存储单元(Cell)密度提高;最后提升TLC的比特密度。

“下一代技术要求每个单元实现4 bit数据存储,这是非常艰巨的任务。” Steven Craig说到,“但在这样的情况下,我们才可以获得技术发展的红利。” 预计不同层级的TLC将引领未来存储的增速,应用在包括在企业级、客户级还有移动端,移动端的需求尤其大。

QLC高密度的4 bit每单元是“一步到位”的解决方案,据预测到2025年3D-QLC会占50%以上的总比特数出货量。当然天下没有免费的晚餐,我们必须去接受提升容量带来的成本提升,这对企业来说会造成一定的困扰,有没有两全其美的办法?

把HDD和SSD混在一起做分区存储

“对于西部数据来说,在数据存储迈入ZB时代也遇到了关键挑战。QLC虽然在可扩展性、成本/TCO效益和访问/读取性能上都很优异,但是写入寿命的限制却让人头疼。磁盘存储也是如此,我们将传统的CMR(Conventional Magnetic Recording, 传统磁记录)技术,转为SMR(shingled magnetic recording,叠瓦式磁纪录)技术。 ”Steven Craig表示,“但还是有写入限制。”

什么是SMR?叠瓦式磁纪录可以为HDD带来物理和逻辑上的扩展。物理上,增家磁碟数量、扩大磁碟尺寸和窄化轨道实现;逻辑上则能为每隔区域叠加更多轨道进行。不过SMR在随机写操作时,需要先将叠瓦布局中重叠磁道部门的数据迁移走,这需要操作系统以及应用程序等的支持,对于客户实际部署要求较高。也是因为这个原因,SMR磁盘很难与CMR无缝衔接,但SMR在单盘存储容量方面的潜力,对于爆炸式数据增长带来的存储需求,还是极具诱惑力。

如何发挥SMR在单盘存储容量方面的优势,同时扫除影响SMR使用的障碍?只有SMR-HDD和SSD同时存在,才能在不牺牲性能的情况下提高存储容量,这也是西部数据分区存储计划诞生的背景。

ZNS(Zoned Namespaces,分区命名空间)包含SMR-HDD以及ZNS-SSD的配套技术,其中SMR具有成熟的生态和广泛的开源社区支持,能够享用SMR技术带来的硬盘存储容量最大化红利;融入ZNS标准的NVMe SSD则延续闪存扩展,拥有更好的耐久性、可预知的低延时和QoS(服务质量)性能,实现QLC的规模部署。

Steven Craig表示:“分区存储是一项开源的、基于标准的技术提案,使数据中心能够经济高效地对存储介质进行选取和部署,有效地扩展到ZB时代。”

哪些市场HDD和SSD替换得最激烈?

会后,西部数据产品市场部副总裁朱海翔先生,西部数据公司产品市场部总监-张丹女士接受了《电子工程专辑》采访。

由左至右:西部数据公司全球产品市场部总监-万君玫女士,西部数据公司产品市场部副总裁-朱海翔先生

和西部数据公司产品市场部总监-张丹女士

对于数据端到端的架构,朱海翔认为,数据主要由终端通过不同的应用产生,然后在边缘计算或分布式数据中心进行初步集成和分析。最后,在云数据中心通过一些大数据技术分析,数据价值才会最终体现出来。“今天大多数的数据,还是人为方式产生的。比如说微信,在一些平台上分享我们的文字、图片、视频,以及现在非常流行的短视频抖音、快手等等,这些都是人产生的数据。但是随着5G万物互联的发展,我们可以预见,到2023年全球90%的数据都会由机器产生。而由机器产生的数据有独有的特性,大多数都是顺序型写入的流媒体数据。”

针对机器产生的宏大海量数据类别和新特性,存储行业怎么把这个挑战变成机遇?增加存储量无疑是最需要解决的问题。今年越来越多96层3D NAND被用在数据中心,各个厂商也在积极开发1XX层存储密度的3D NAND,“但是这只局限于存储介质的密度增加上,如果最终想要在数据中心使用最高密度QLC,而不是现在的TLC,我们需要解决QLC在数据中心中批量部署的最大难题——写入寿命问题。” 朱海翔表示,“要解决这个问题,不能停留在介质本身,要重新看整个数据的基础架构。所以今年6月我们推出了分区存储技术,我们相信这个技术可以从全新的维度帮助整个行业,尤其是在数据中心快速的部署最高存储密度的QLC。”

其实在存储介质的选择上,西部数据是一家比较独特的公司,他们在HDD行业有开发和制造的垂直整合能力,在SSD上也是一样。所以在推荐客户才用HDD还是SSD上,“西部数据并没有一个偏好,比如一定要在市场上或是在客户处主动去推其中某一个产品。但是我们看到,在不同的行业里,对于HDD和SSD互相过渡的速度和范围是不一样的,其中三个行业是全球使用传统机械硬盘最大的行业:数据中心、个人电脑以及视频监控行业。”

朱海翔介绍到,“这三个行业情况不一样。在数据中心行业,HDD每年的年负荷增长率可达34%,我们把它叫企业级HDD。因为成本、性能整合的优势,相比之下大多数的云厂商还是愿意大量用HDD来存储。SSD在云数据中心中增长速率比HDD快,每年增长率是44%,但它的起点相对较低。我们预测在大概四五年之后,数据中心绝大多数的存储媒介仍然是HDD,而不是SSD。”

个人电脑行业则完全不一样。去年个人电脑里面的存储介质已经有50%转变为 SSD,今年可能已经达到60%,大概两三年之后会达到80%以上。所有的个人电脑都倾向于使用SSD,而不是传统的机械硬盘。

第三个视频监控市场在中国尤其重要,而且中国有全球领先的安防厂家,近年来中国视频监控存储的需求量,在全球已经超过50%,但绝大多数的存储需求还是HDD,而不是SSD。朱海翔表示:“因为我们和这些厂家都有紧密的合作,并没有看到近期或可预见的将来会有大量SSD会替代HDD,这是我们看到的HDD和SSD互相转变的三个主要重要市场。”

在中国区首发全球新品

在媒体会中,西部数据还发布了一系列针对工业、智能和先进制造(包括多种物联网设备)等需要在严苛环境中操作的新产品。张丹表示,这是西部数据首次在中国,发布全球范围内的新品。

此次发布的新产品采用高耐久度3D NAND技术,以多种产品形态为工业系统设计人员提供适用于工业级市场领域的解决方案,可应用于边缘计算网关、机器人、医疗和监测/安防等领域,同时为工业和物联网系统设计人员在人工智能和机器学习应用领域提供方案。

为什么会有工业级别产品的发布?张丹表示,“当我们以深入视角研判未来万亿字节新时代的时候,发现有两个主要的趋势,一个是数据上云,第二个是算力下发。算力下发的结论就是边缘计算,所以越来越多的计算能力会被推动到边缘端,越来越多的传感和分析在边缘端实现,但是这些数据并没有充分的在边缘端进行存储。我们看到了边缘不具备足够的能力和成本优势来保存更多的数据,因此我们也想尽一些努力来满足行业对这方面的需求。”

据介绍,西部数据工业级存储产品能够在恶劣环境(如高温、潮湿、极端海拔或强振)下保证设备存储正常运行,通过延长数据保存期限而存储和处理更多数据。

西部数据首款针对工业及物联网市场而设计的64层3D NAND e.MMC

西部数据iNAND IX EM132嵌入式闪存盘是公司首款专为工业及物联网设备设计的3D NAND e.MMC,其中搭载了西部数据64层3D NAND技术。该产品有两种版本的宽温范围,分别是-25°C至+ 85°C以及-40°C至85°C。西部数据公司将该产品的e.MMC使用寿命延长并超过了2D NAND,为基于高级操作系统、传感器融合和机器学习技术的工业和消费应用提供更高的容量选择。该产品还有专为密集型工业工作负载而设计的功能特性,包括:

· 高级运行状况管理

· 热管理

· 智能分区

· 自动和手动读刷新

· 电源管理

· 达到JEDEC(固态技术协会)标准的数据保持力

针对工业及物联网市场的高耐久度SD存储卡和microSD存储卡

新款西部数据工业级IX LD342 SD存储卡和IX QD342 micro SD存储卡为OEM商、经销商、分销商、集成商和工业系统设计人员提供了高度耐用的产品特性,为新兴工业应用领域带来更好的灵活性:

· 采用西部数据3D NAND技术

· 提供16GB至512GB的容量选择

· 高耐用性(3,000 P/E循环)保证了更长的使用寿命

· 存储卡的运行状况管理可以检测存储卡的剩余耐用程度,并在需要时主动对存储卡进行维护

产品展示

除此之外,西部数据还在此次闪存市场峰会中展示了诸多产品:

上述刚发布的部分新品,以及ZNS SSD,相较于普通的NVMe SSD可提升吞吐量,显著降低延迟

恩智浦i.MX8 Mini EVK主板,其采用了西部数据最新的iNAND IX EM132工业级e.MMC嵌入式闪存产品,可实现更好的性能表现。

还有Ultrastar系列的SSD产品。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 闪存
    +关注

    关注

    16

    文章

    1786

    浏览量

    114903
  • 存储
    +关注

    关注

    13

    文章

    4301

    浏览量

    85814
收藏 人收藏

    评论

    相关推荐

    浪潮信息如何应对智能时代下的数据存储需求

    随着智能时代的全面到来,数据量呈现出爆炸性增长,这对存储系统提出了前所未有的高标准要求。从早期的“百模大战”演进至“千模大战”,现已迈入了一个以数据为核心的新时代,其中数据成为了算法与
    的头像 发表于 11-26 13:42 204次阅读

    智己汽车迈入“直觉”智驾新时代

    ”的智驾新阶段。这一突破标志着智己汽车正式迈入“直觉”智驾的新纪元,成为国内首个掌握L2至L4级智驾量产技术的汽车品牌。
    的头像 发表于 10-30 16:06 242次阅读

    【「大模型时代的基础架构」阅读体验】+ 未知领域的感受

    国庆前就收到《大模型时代的基础架构》一书,感谢电子发烧友论坛。欢度国庆之余,今天才静下心来体验此书,书不厚,200余页,彩色图例,印刷精美! 当初申请此书,主要是看到副标题“大模型算力中心建设指南
    发表于 10-08 10:40

    名单公布!【书籍评测活动NO.41】大模型时代的基础架构:大模型算力中心建设指南

    基于TOGAF方法论,剖析业界知名案例的设计方案。 全书总计13章。第1章讲解AI与大模型时代对基础架构的需求;第2章讲解软件程序与专用硬件的结合,涉及GPU并行运算库、机器学习程序的开发框架和分布式AI训练
    发表于 08-16 18:33

    HDC2024华为发布鸿蒙原生智能:AI与OS深度融合,开启全新的AI时代

    董事长余承东先生表示:全新的Harmony Intelligence鸿蒙原生智能,将开启全新的AI时代!   软硬芯云协同 鸿蒙原生智能深度融合AI与OS “以消费者体验为核心,为消费者做伟大的产品”是华为终端坚定不移的业务战略
    的头像 发表于 06-24 09:28 613次阅读
    HDC2024华为发布鸿蒙原生智能:AI与OS深度融合,开启<b class='flag-5'>全新</b>的AI<b class='flag-5'>时代</b>

    RISC-­V架构的特点

    RISC-­V架构的特点 RISC-V架构RISC-V 架构是基于 精简指令集计算(RISC)原理建立的开放 指令集架构(ISA),RISC-V是在指令集不断发展和成熟的基础上建立的
    发表于 05-24 08:01

    超融合基础架构的软硬件设计思路

    简单来说,超融合基础架构就是在业务节点上运行服务器虚拟化软件和存储虚拟化软件,将所有的计算节点通过网络聚合成一个统一的虚拟计算和虚拟存储资源池,以资源池的形式提供数据中心所需的IT基础设施。
    的头像 发表于 04-25 10:28 1794次阅读
    超融合基础<b class='flag-5'>架构</b>的软硬件设计<b class='flag-5'>思路</b>

    电力仪表在工厂车间设备电能管理系统的安装方法

    基于车间用电设备的电能管理系统架构思路及实施方法,从硬件和软件方面对此方法进行了阐述。对车间旧设备改造以及新的电能管理系统提供一种思路和便捷的方法。
    的头像 发表于 04-19 10:13 577次阅读
    电力仪表在工厂车间设备电能管理系统的安装方法

    华为提出业界首个L4级AI安全智能体,迈入智能防御新时代

    2024华为分析师大会期间,在“加速迈向网络智能化”论坛上,华为提出业界首个L4级AI安全智能体,该智能体架构为人工智能时代全球网络安全防御提供了新的思路和方向,引领网络安全迈入智能防
    的头像 发表于 04-19 09:23 632次阅读

    NVIDIA Edify为视觉内容提供商带来3D生成式AI和全新图像控件

    用于视觉生成式 AI 的多模态架构 NVIDIA Edify 正在迈入全新维度。
    的头像 发表于 03-26 09:49 779次阅读

    大数据时代存储革命:理解分布式存储系统

    在如今的大数据时代,全球数据量正在以指数型增长。据国际数据公司(IDC)预测,到2025年,全球数据量将增至175 ZB。这种海量的数据存储需求无法仅靠单一的服务器满足,而且单一服务器进行
    的头像 发表于 03-07 15:40 424次阅读

    分布式存储与计算:大数据时代的解决方案

    我们正生活在一个数据驱动的时代,数据量以前所未有的速度呈指数型增长。IDC预测到2025年全球数据量将达到175ZB(Zettabytes)。面对如此庞大的数据,传统的集中式存储显然已力不从心,于是
    的头像 发表于 03-07 14:42 761次阅读

    浅析MIMO的帧结构思路

    对于非配对频段,GP位置需要对齐,以避免DL/UL交叉链路干扰,简化共存。图2列出了具有对齐GP位置的未配对频谱中多帧配置共存的示例。
    发表于 02-01 14:30 608次阅读
    浅析MIMO的帧结<b class='flag-5'>构思路</b>

    TE 推出全新ERNI VolTron 1000V 高压传感连接器,助力电动汽车迈入“畅跑时代

    的首个新品,此款高压传感连接器专为电动汽车的电池架构而设计,用于电池管理系统(BMS)和电池断开单元(BDU),以测量整个电池架构和生态系统的电压。 全新ERNI VolTron 1000V 高压传感
    的头像 发表于 01-26 08:45 312次阅读
    TE 推出<b class='flag-5'>全新</b>ERNI VolTron 1000V 高压传感连接器,助力电动汽车<b class='flag-5'>迈入</b>“畅跑<b class='flag-5'>时代</b>”

    性能领先|忆联×新华三,打造超融合架构下的高性能存储方案

    为助力企业用户构建超融合架构的现代化数据中心,满足业务发展需求,忆联联合新华三集团在超融合架构下打造高性能存储方案,以此提高数据中心的管理效率和资源利用率。一、背景介绍超融合架构是通过
    的头像 发表于 12-27 18:21 614次阅读
    性能领先|忆联×新华三,打造超融合<b class='flag-5'>架构</b>下的高性能<b class='flag-5'>存储</b>方案