0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

剖析混合存储阵列的优势,以及最适合混合存储的各种数据类型

存储界 2018-01-08 12:34 次阅读

大多数企业都同时拥有多种类型的数据,每种数据在容量和应用程序访问性能等方面的需求优先级各不相同。由于需要服务于不同的数据存储需求,大多数大型数据中心都会同时使用多种类型的存储设施。鉴于成本问题,很少有企业能够(不计成本地)将全部数据都放在市场上能买到的最快但也最昂贵的闪存存储中,因此混合使用闪存和硬盘驱动器的混合阵列将是许多数据中心的主要存储构成。

混合存储阵列整合了多种类型的存储元素,能在满足对应多种数据优先级需求的同时实现成本控制。随着混合存储的不断发展,能整合的存储类型范围已经不仅限于闪存和硬盘,还扩大到包括多层闪存、多层硬盘、磁带、对象和基于云的存储,这些存储都被链接到单一和透明的虚拟存储基础架构中,整套架构可以针对每种类型的数据和应用程序优先级自动提供最佳的性能。

本篇文章提供的使用场景剖析可帮助您更好地了解混合存储阵列的优势,以及最适合混合存储的各种数据类型。这些信息可以让您更好地设定使用场景,从而明确采购选型需求。

混合存储阵列适合那些数据类型?

实时的事务处理大数据。实时数据通常具备活跃和持久的特性;当用户执行搜索、销售分析或其它动作时,数据库或其他使用实时数据的应用程序也会同时驱动数据流转。自动化分层软件通常会尽量将所有活跃数据保留在尽可能高的层,但是管理员可能希望单独指定一些数据库、分区或数据卷,让这些数据集中保存在一个特定的层,以确保某些应用获得低延迟。如果某些数据在一段时间内不再活跃,这些数据将向较低级的存储层迁移。

对于大数据、数据湖或其他大型数据集,将数据保存在云中的举措值得尝试,分层体系就可根据需要在热、温、冷云存储之间移动数据。

典型的文件服务器数据。存储在文件服务器上的常见数据类型,包括文本、文字处理数据、电子表格和演示幻灯片,这些数据很少需要闪存的速度。文档或文件被加载到用户终端后,用户输入数据的带宽通常只是每秒几个字符的数量级别,根本不需要亚微秒的响应时间。即使正在渲染的特效或光线追踪图形、或正在编译的大型程序的性能都受到CPU或图形处理能力的限制,数据访问的速度并不是瓶颈。例外情况即使存在也不会太多,完全可以由管理员单独处理。

数据流。数据流的关键定义是:可预测和连续性,因此数据流不需要闪存的低延迟和随机存取能力。即使是被大量用户同时访问的流式传输数据也非常容易对付,无需使用大量Flash就能获得最优化的性能。另外,数据流通常意味着文件尺寸和数量都很大,因此数据流会大量占用和消耗存储空间,并成为低层存储的理想负载类型。

虚拟系统数据。与流式数据相比,闪存存储的最适合的负载应该是虚拟服务器和虚拟桌面基础架构(VDI)。这些数据类型可以充分利用闪存的低延迟特性,并提供重复数据删除功能,因为许多虚拟机(VM)与其他虚拟机之间具备极高的数据重复比例。例如,一个拥有100个Windows虚拟机的VDI系统中,每个客户机可能和其它虚拟机有99%的相同数据,可实现的重复数据删除率接近100:1,因此100个虚拟机只需占用比1个虚拟机略多一点的存储空间。闪存存储速度足以支持重复数据删除并轻松处理典型的VDI部署的峰值负载,例如,用户在上午8点登录,在中午注销午餐,下午1点重新登录,并在下午5点重新登录。

在不同层之间迁移数据

自动分层软件对用户和管理员来说是透明的。出现在同一目录中的两个文件实际上可能位于存储系统的不同层,甚至可能位于不同的系存储统或数据中心。存储虚拟化软件能识别很少使用的文件并将其移动到速度较慢、较便宜的存储设备上,同时保留占位符以告知系统文件保存的位置。如果用户打开该文件,则系统会自动从较慢的存储中提取文件,并将其移回更快的层。

一些最早的自动化分层系统完全基于数据的活跃程度执行分层动作。例如,在设定的时间区间内,如果文件未被打开或更改,则该文件被移动到较低层;如果用户在此期间打开过该文件,则该文件被移动到较高层。如今有些存储系统仍在以这种方式工作。有些系统会增加预测算法来迁移关联数据,例如,打开文件夹中的一个文件的用户很可能会需要获取同一目录中的其余数据。还有些系统在数据块层级而不是文件级移动数据,这种方式适合常见的对大文件执行少部分操作的场景,在数据块级执行分层处理可以使文件不需要读写的部分继续保存在较慢的存储空间中。只有修改频繁的块才会保留在更快的层上。

许多指标可以被用于确定数据应该存放的数据层,包括服务等级协议、仅在本季度末搜索的数据、应具有最大冗余的关键数据以及需要极高吞吐量的数据。自动分层软件可能无法正确处理这些数据,因此可以考虑手动指派特定的层。

无论是通过闪存阵列自带的功能,还是单独购买的软件来实现,存储管理软件适应复杂场景的能力决定了管理员处理各类特殊分层要求的操作方式。一些混合存储阵列可以让管理员设定针对特定文件或目录树的响应时间、吞吐量和延迟的最低限制,并自动确保分层处理满足这些最低要求,其他系统则无法提供这种承诺。同样,某些系统可以按特定的时间间隔迁移数据,以便在季末结算工作开展之前先将数据迁移到更高层,或者将某些文件或目录永久保存在指定的层。

混合存储阵列能同时提供闪存的速度和低延迟,以及HDD,磁带或云的经济性。它们必然比全闪存或全HDD系统复杂,但灵活性和低成本的优势使其值得纳入选型评估。从起价低于1000美元的NAS盒子到100万美元的企业级系统,大多数供应商都开始提供某种形式的混合存储。管理员应该熟悉这些系统的工作方式,选择有潜力的技术为IT组织节省大量资金。

分层软件是如何运作的

分层软件是混合存储系统的核心,它可以自动将最常访问的数据放在最快的层,甚至包含更复杂的系统逻辑,这些系统可以主动预判和抓取相关数据,并根据需要将数据在不同层之间移动。虽然也可以用手动操作的方式将数据分层到不同类型存储的容器,但是移动数据会占用管理员的大量工作时间,从长远来看,人力成本的耗费可能会超出分层软件的价钱。

管理员也可以单独购买分层软件创建自己的混合存储系统。但是,考虑到管理员学习软件和部署组合软件和硬件的时间,购买散件自己组装仍然不具备成本优势。除非已经拥有了可用于某些分层的存储设施,这种情况下利用现有资源搭建分层存储就是更经济有效的选择。

除了最常见的具有一层闪存和一层硬盘存储的两层系统之外,管理员可能还要考虑更多分层。例如,即使在闪存的范围内,也存在存储器总线闪存,非易失性存储器快速闪存(NVMe),写入优化的闪存和读取优化的闪存,以上每种闪存都比前一种闪存更便宜,但性能也更有限。还有多层HDD存储——不仅包括15,000 RPM、10,000 RPM和7,200 RPM驱动器,还可以选择在不使用驱动器的时候关闭驱动器,甚至在HDD上运行对象存储。不要忘记更下游还有磁带和云存储,每GB的成本更低,当然响应时间也更慢。

虽然实际的统计数据可能会有所不同,但是80/20规则对于考虑层级是很有效的:写入存储系统的新数据中的80%大约有30天的活跃周期,然后就很少被访问。活跃数据中的20%会长期保持活跃,应该固定在最快的存储空间上,其余的可以在30天后迁移到较便宜的存储空间,在必要时才存回更快速的存储层。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据中心
    +关注

    关注

    16

    文章

    4649

    浏览量

    71912
  • 混合存储
    +关注

    关注

    0

    文章

    5

    浏览量

    50428

原文标题:混合存储阵列整合多层存储降低成本

文章出处:【微信号:cunchujie,微信公众号:存储界】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    LabVIEW的数据类型存储格式

    不同操作系统下的存储格式。提示:簇可以直接嵌套簇,簇间接存储数据(指针)只有数组、字符串或路径这三种数据类型。下图显示簇(元素两个标量数字加一个数组)和簇(元素为一个带两个标量数字的
    发表于 12-19 15:36

    LabVIEW的数据类型存储格式

    不同操作系统下的存储格式。提示:簇可以直接嵌套簇,簇间接存储数据(指针)只有数组、字符串或路径这三种数据类型。下图显示簇(元素两个标量数字加一个数组)和簇(元素为一个带两个标量数字的
    发表于 12-19 15:37

    Labview各种数据类型

    Labview各种数据类型
    发表于 12-11 11:27

    超实用的读写ini文件VI,支持各种数据类型

    支持各种数据类型的读写ini文件
    发表于 02-18 09:58

    高效益成本的混合存储方案

    和运行速度。SATA HDD设置成扩展盘,安全数据存储,增大容量空间。二、SATA HDD + SSD混合模式 SFF-8087接口,提高连接稳定与便捷性,磁盘自由组合,三种阵列方案,
    发表于 01-16 11:37

    如何获取F28335各种数据类型所占的字节数?

    如何获取F28335各种数据类型所占的字节数?
    发表于 10-22 06:59

    C语言各种数据类型的内存映像

      C语言各种数据类型的内存映像(32位平台): 0 signed char   #include stdio.hint main(){    char min = 17;    char max
    的头像 发表于 07-06 14:49 989次阅读

    细说redis十种数据类型及底层原理

    string 是 Redis 最基本的数据类型,它可以存储任意类型数据,比如文本、数字、图片或者序列化的对象。一个 string 类型的键
    的头像 发表于 05-15 11:21 1833次阅读
    细说redis十<b class='flag-5'>种数据类型</b>及底层原理

    Verilog最常用的2种数据类型

    Verilog 最常用的 2 种数据类型就是线网(wire)与寄存器(reg),其余类型可以理解为这两种数据类型的扩展或辅助。
    的头像 发表于 05-29 16:27 2152次阅读
    Verilog最常用的2<b class='flag-5'>种数据类型</b>

    【虹科方案】SAN存储连接的首选:QXS 混合存储灵活连接解决方案

    -混合存储连接解决方案-01背景“混合存储是一种用于存储数字数据的解决方案,它将提供卓越性能并实
    的头像 发表于 03-30 13:53 1212次阅读
    【虹科方案】SAN<b class='flag-5'>存储</b>连接的首选:QXS <b class='flag-5'>混合</b><b class='flag-5'>存储</b>灵活连接解决方案

    【虹科方案】SAN存储连接的首选:QXS 混合存储灵活连接解决方案

    -混合存储连接解决方案-01背景“混合存储是一种用于存储数字数据的解决方案,它将提供卓越性能并实
    的头像 发表于 03-31 14:26 613次阅读
    【虹科方案】SAN<b class='flag-5'>存储</b>连接的首选:QXS <b class='flag-5'>混合</b><b class='flag-5'>存储</b>灵活连接解决方案

    PostgreSQL中可用的各种数据类型

    PostgreSQL是一种功能强大的开源关系型数据库管理系统,具有广泛的数据类型支持。在本教程中,我们将介绍PostgreSQL中可用的各种数据类型,包括数值、字符串、几何、时间、日期、布尔、货币
    的头像 发表于 09-19 14:08 3891次阅读

    Redis的数据类型有哪些

    用的一种数据类型,普通的key- value 存储都可以归为此类。其中Value既可以是数字也可以是字符串。使用场景:常规key-value缓存应用。常规计数: 微博数, 粉丝数。 2、Hash:Hash 是一个键值(
    的头像 发表于 10-09 10:51 756次阅读

    redis的五种数据类型

    Redis是一种高性能的内存数据库,常用于缓存、任务队列、分布式锁等场景。它提供了多种数据类型来满足各种不同的需求,包括字符串(string)、哈希(hash)、列表(list)、集合(set
    的头像 发表于 11-16 11:06 594次阅读

    oracle的数据类型有哪些

    Oracle数据库中有许多数据类型可供选择,每种数据类型都有其各自的特点和适用场景。下面是对Oracle数据库中最常用的数据类型的详尽说明,
    的头像 发表于 12-05 16:45 2248次阅读