0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

海量数据推动云计算和IPFS迅速发展,存储器持续向大容量、高性能演进

荷叶塘 来源:电子发烧友 作者:程文智 2021-04-18 17:40 次阅读

(文/程文智)据IDC的预测,到2024年,全球将创建、复制和消费143ZB的数据,其中中国创建的数据为36ZB,占25%。如此庞大的数据有多少被存储下来了呢?西部数据认为只有不到1.5%的数据被存储下来了。业界更是有人认为这个估计过于乐观,被存储下来的数据其实是低于这个比例的。

企业级存储架构面临挑战

为什么会出现这种情况呢?几年前业界就在宣传数据是当代石油,是发展的动力。那这么多宝贵的石油就这样流失掉了,没有进行挖掘和分析处理,不是很浪费吗?

西部数据公司副总裁兼中国区业务总经理刘钢认为,这么多数据没有被存储下来的主要原因是因为存储的架构和存储的技术没有及时跟上,因此大部分的数据都没有办法被存储下来并及时使用。


图1:西部数据公司副总裁兼中国区业务总经理刘钢


这也就是说,目前企业级的存储架构正面临着一些不可避免的挑战,包括数据增长迅速、存储性能需求倍增、TCO成本负担增加,及更绿色能耗体系标准的挑战。

人们需要大容量、能快速访问、并且成本更低,能耗更低的存储。那么,有没有一个存储设备,或者一种存储介质能够同时满足这四个方面的要求呢?

刘钢在不久前的2021深圳国际大数据与存储峰会上表示,能满足这四个要求的单一存储介质或者存储设备的确是非常难找到。但幸运的是,人们可以通过创新的架构,用系统来满足用户各方面、各种存储场景的需求。“因为用户的数据是要进行分层的,用户的数据有不同的类型,不同类型的数据对存储的要求也是不一样的。”

创新存储架构应对海量数据需求

在刘钢看来,数据是有分层的,因此他把数据分成了极热数据、热数据、温数据、冷数据和极冷数据五层。并且还划分了每层对应的应用场景。

而对于不同层的数据,需要采用的存储介质和存储设备是不一样的。比如对于冷数据和极冷数据而言,业界目前常用的方案是高密度的大容量企业级硬盘。


图2:创新的分层存储架构。(来源:西部数据)


刘钢对媒体表示,目前高密度企业级硬盘已经进化到了18T。针对极冷存储,西部数据利用软件和技术优化,采用了SMR叠瓦式的硬盘能做到20T的高密度企业应用。

谈到具体产品,刘钢介绍说,20TB Ultrastar DC HC650主机管理SMR HDD和16TB与18TB Ultrastar DC HC550 CMR HDD已经于2019年9月发布,是优先进入商业化实施阶段的EAMR技术。凭借西部数据HelioSeal技术提供的出色功耗以及机械创新(例如提高磁头定位精度并提供更大容量功能的TSA),这些HDD可提供领先的面密度,九磁碟硬盘还使客户能够更有效地配置和扩展数据中心环境,同时提供更低的总体拥有成本。


图3:大数据多使用极冷存储和冷存储,因为很多时候人们并不需要时刻读取。(来源:西部数据)


单位TB价格( $/TB) 是存储服务器购置成本的关键组成部分,也是构建现代云数据中心的一个考量核心。相比较于$/TB这一维度,TCO则更能体现准确的数据中心运营成本:TCO 的降低并不限于降低 $/TB。每个硬盘的容量越大,意味着更少的服务器拥有更大的储存容量,从而节省资本支出和运营成本。例如从14TB迁移到18TB呈现出显著的TCO收益:服务器减少了22%;TCO降低了11%。鉴于数据中心占用空间有限,通过更高的HDD容量进行更密集的存储部署,还可以产生更多的收入。

存储服务器的成本通常要求控制在数据中心总体运营成本的60%以内。而实际上,更高容量的HDD可以更有效地平衡这一需求。西部数据持续进行多项技术的创新,例如能量辅助、机械设计、材料和记录技术,帮助所有数据中心客户,无论是超大规模云客户,大型企业还是中小企业来有效应对他们的数据基础架构挑战。


图4:从左到右依次为:西部数据Ultrastar DC HC550 HDD 16TB、Ultrastar DC HC550 HDD 18TB和Ultrastar DC HC650 HDD 20TB


刘钢还透露了一个消息,那就头部的云服务商硬盘在过去4年当中,从8T进化到了18T。而的IPFS的服务商则在以更快的速度进化,他们几乎在过去四个季度就走完了云服务商过去4年的演进过程,也从8T进化到了18T。


图5:云服务商与IPFS服务商使用硬盘的演进过程。


为什么数据中心能迅速从8T进化到18T呢?其实是当数据中心只是从14T升级到18T,为了达到同样存储的容量,服务器数量会减少约22%,而且不仅是服务器数量减少了,存储密度也提高了,而且单位功耗还降低了约21%,因此部署成本降低了,运维成本也降低了。

除了大数据之外,还有一部分的数据用户需要能够快速访问,比如像热存储、温存储等,这些数据指的就是快速据。西部数据把SSD划分成了两类,一类是主流的SSD,还有一类是针对写密集、计算密集的高性能SSD。

据刘钢介绍,西部数据推出了新的Ultrastar DC SN840 NVMe SSD和Ultrastar DC SN640 NVMe SSD。应用到IPFS里面,尤其是针对封装计算机、封装服务器的时候用SSD,对于IPFS的封装机器来讲,4个7.68T的SSD能提供非常好的加速。

谈到SSD,目前其主要容量点是3.84T和7.68T。“SSD的主要成本在闪存(Flash),Flash决定了SSD硬盘的成本和性能。所以一家SSD的供应商需要有大规模的产能,能够保证供应,同时能够降低成本,还要有领先的Flash技术能够提供高性能Flash、有自主可控的控制器和部件来纵向地优化SSD的产品,提供一致稳定的高性能,而不只是某个时间的高性能或者峰值的高性能。”他指出。


图6:西部数据发布第六代3D闪存技术。(来源:西部数据)


刘钢还提到了他们刚刚发布的第6代3D闪存技术,162层的3D闪存技术,该技术会进一步地缩小芯片的尺寸,降低成本、提高性能。它的程序性能可以提高两倍以上,输入/输出的IOPS提高约66%。


图7:西部数据的企业级固态硬盘的技术优势。


在刘钢看来,西部数据最大的优势是纵向集成的优势。他们不仅有控制器及其固件,再将它们与Flash纵向集成后,可以达到非常稳定的一致性。


图8:西部数据存储硬件方案和优势。

与合作伙伴的成功案例

截止目前,西部数据已经与诸多行业领先的公司开展了合作,致力于依靠行业领先的技术和整体解决方案来支持客户与合作伙伴。

1.Dropbox超大容量企业级HDD全球应用
Dropbox与西部数据携手,为确保流畅无缝地实现向SMR的迁移,Dropbox针对其特定机箱配置进行内部测试,采用SMR技术替换原有CMR技术后存储密度增加了10%-20%,节约了20%的TCO。

作为率先认证Ultrastar 20TB SMR HDD的企业之一,Dropbox利用数据中心的大容量、高效率和扩展能力,应对满足全球企业、团队和个人对云存储和服务不断增长的前沿需求。Dropbox日前成为首批认证西部数据主机管理叠瓦式磁记录 SMR HDD — Ultrastar DC HC650 20TB — 的企业之一。通过将西部数据SMR HDD用作定制的EB级存储平台的存储基石,Dropbox遵循其战略路线,以更好总体拥有成本(TCO)实现更高的存储密度。

2.浪潮、星辰天合的IPFS解决方案
西部数据、浪潮、星辰天合多方携手,联合推出IPFS 解决方案,在软件层面,该解决方案搭载了专为 IPFS 场景而生的 XSFS(XSKY Scalable File System)系统,通过全新的存储技术手段,基于通用的 X86 服务器构建了一个无限扩容、持续在线的高性价比存储架构体系,在保证数据高安全性的同时,打破存储规模壁垒,降低 IPFS 建设的投入,满足 IPFS 业务存储需求。


在硬件层面,该解决方案包括浪潮英信服务器 NF5466M5、西部数据 Ultrastar DC SN840 SSD、Ultrastar DC HC550 硬盘以及 Ultrastar Data60 JBOD 存储平台。通过搭载 44 块/36 块大容量的 Ultrastar DC HC550,NF5466M5 为 IPFS 存储提供了海量的存储空间,并借助硬盘的高稳定性,显著降低复制证明和时空证明提交过程中出现错误的几率。

3.联手杉岩数据打造IPFS解决方案

杉岩数据联合西部数据,共同推出搭载了杉岩 MOS 海量对象存储系统以及西部数据SSD, HDD与JBOD存储平台,并针对 IPFS 进行了优化的解决方案。该系统能够满足算力集群数据写入需要的高吞吐量存储集群性能,并对时空证明请求进行了优化,使其可以获取多个文件的多段内容。同时,杉岩数据还在该方案中部署了 EC(22+2)冗余技术,实现了高达 91.6% 的存储空间利用率。


该解决方案搭载了西部数据 Ultrastar DC SN840 NVMe SSD和Ultrastar DC SN640 NVMe SSD,Ultrastar DC HC550 18TB大容量HDD,以及 Ultrastar Data102 JBOD 存储平台,可以全面满足 IPFS 存储集群需求。得益于西部数据在存储硬件方面的优势以及杉岩数据卓越的存储系统设计,该解决方案能够帮助 IPFS 服务提供商显著提升性能、稳定性并提升投资回报率。其中 Ultrastar DC HC550 HDD 18TB的超大容量以及 Ultrastar Data102 的组合有利于实现集约性的空间设计,使得组建 IPFS集群所需要的机柜空间、电源功耗、硬件成本大大降低。

4.联手长城超云打造IPFS新范式
长城超云与西部数据联手打造出多款完美贴合IPFS场景的产品级解决方案,在IPFS行业种得到广泛的应用。


方案主要以西部数据高性能大容量企业级硬盘Ultrastar DC HC550系列的18TB HDD为基础,设计了异构产品组合的集群测试方案,包括Miner、Worker和Storage,大幅提升了客户的业务效率,从而增强了客户在IPFS领域的核心竞争力。通过优越的产品配置与算法调优使得整体效率提升50%以上,同时单T有效算力硬件成本大幅降低。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 云计算
    +关注

    关注

    39

    文章

    7732

    浏览量

    137195
  • SSD
    SSD
    +关注

    关注

    20

    文章

    2851

    浏览量

    117222
  • 存储架构
    +关注

    关注

    0

    文章

    17

    浏览量

    10094
  • 大数据
    +关注

    关注

    64

    文章

    8863

    浏览量

    137290
收藏 人收藏

    评论

    相关推荐

    AI高性能计算平台是什么

    AI高性能计算平台不仅是AI技术发展的基石,更是推动AI应用落地、加速产业升级的重要工具。以下,是对AI高性能
    的头像 发表于 11-11 09:56 123次阅读

    高性能服务有什么用处?

    高性能服务是一种基于计算技术的虚拟化服务,具有高性能
    的头像 发表于 11-04 10:22 139次阅读

    存储器的特点是速度快成本低容量小对吗

    存储器,通常指的是计算机系统中的随机存取存储器(RAM),是计算机硬件的重要组成部分。它负责存储计算
    的头像 发表于 10-14 10:05 437次阅读

    存储器主要用来存储什么

    存储器(内部存储器)是计算机硬件的重要组成部分,它直接与中央处理(CPU)相连,用于存储正在运行的程序和当前处理的
    的头像 发表于 10-14 09:55 432次阅读

    存储器分为随机存储器和什么

    存储器计算机系统中用于临时存储数据和程序的关键部件,它直接影响到计算机的运行速度和性能。内
    的头像 发表于 10-14 09:54 604次阅读

    存储器中访问速度最快的是什么

    在探讨存储器中访问速度最快的是哪一种时,我们首先需要了解计算存储系统的层次结构以及各类存储器的特性和功能。计算
    的头像 发表于 10-12 17:01 1329次阅读

    计算厂家使用WDS分布式存储构建其高性能超融合一体机

    计算厂家使用WDS分布式存储构建其高性能超融合一体机
    的头像 发表于 09-23 09:57 193次阅读
    <b class='flag-5'>云</b><b class='flag-5'>计算</b>厂家使用WDS分布式<b class='flag-5'>存储</b>构建其<b class='flag-5'>高性能</b>超融合一体机

    存储器容量单位有哪些

    存储器容量单位是指用于衡量存储设备中存储数据能力的单位。在计算机科学中,这些单位构成了一个完整的
    的头像 发表于 09-05 12:41 1281次阅读

    计算存储器的分类及其区别

    计算存储器计算机系统中不可或缺的重要部分,用于存放程序和数据。随着科技的进步,存储器的种类越来越多,功能和
    的头像 发表于 09-05 10:40 1029次阅读

    如何理解计算

    访问需求。 **数据分析和挖掘:**用户可以使用计算来处理和分析海量数据,通过平台可以提供
    发表于 08-16 17:02

    得瑞领新参编《高性能计算助推分布式存储发展白皮书》正式发布,助力推动产业生态发展

    近日,得瑞领新参编的《高性能计算助推分布式存储发展白皮书》正式发布,展示了其在企业级存储解决方案方面的领先优势,也标志着得瑞在
    的头像 发表于 06-27 10:33 301次阅读
    得瑞领新参编《<b class='flag-5'>高性能</b><b class='flag-5'>计算</b>助推分布式<b class='flag-5'>存储</b><b class='flag-5'>发展</b>白皮书》正式发布,助力<b class='flag-5'>推动</b>产业生态<b class='flag-5'>发展</b>

    虚拟存储器的概念和特征

    随着计算机技术的飞速发展存储器容量和速度成为了影响计算性能的关键因素。在解决内存
    的头像 发表于 05-24 17:23 1514次阅读

    存储器的工作原理及基本结构

    计算机系统中,存储器是不可或缺的组成部分,负责存储程序和数据以供处理器使用。随着计算机技术的不断发展
    的头像 发表于 05-12 17:05 1915次阅读

    兆芯携手智创新推出高性能NVMe企业级存储系统

    面向持续增长的数字化转型与应用创新发展需求,兆芯携手智创新,基于兆芯高性能自主处理平台成功推出多款信创
    的头像 发表于 04-12 14:06 522次阅读

    浅析RAM存储器内部结构图

    计算机中,CPU需要定期地从 RAM 存储器中读取数据和指令。随着计算机应用程序的不断发展,RAM
    的头像 发表于 03-04 17:30 2000次阅读
    浅析RAM<b class='flag-5'>存储器</b>内部结构图