0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

HCP的功能采用性能优化可更好地支持新一代非结构化数据工作负载

lhl545545 来源:DOIT 作者:DOIT 2020-09-10 11:00 次阅读

这里的“对象”指的是对象存储,互联网、云服务商应用比较广泛,行业企业用户相对陌生,行业用户普遍习惯使用NAS而不是对象存储。

与NAS相比,对象存储给人的印象应该是便宜,这在海量数据爆炸式增长的今天,对象存储的优势让人心动。但是也并没有想象中的“婚姻”美满,因为行业企业应用习惯架构在NAS平台上,对接对象存储就需要做出改变,这并不容易。

对于行业企业用户来说,NAS也并非长久之计。随着数据积累以及数据爆炸式增长,NAS存储和管理的文件数量指数级增长,当达到一定规模时,如上亿或者几十亿文件,就会出现性能断崖式下跌,因为NAS机头处理能力会成为瓶颈。

有没有更好的解决方案呢?

NAS/对象搭配 干活不累

分布式NAS是最容易想到的方案,但是技术比较复杂,成本也比较高。

Hitachi公司旗下数字基础架构和解决方案公司Hitachi Vantara,以HCP产品为核心,与分布式NAS领先厂商WekaIO(Weka)合作,对外提交端到端DFS和对象存储解决方案,提供了解决问题的新思路。

新的解决方案对数据进行冷热分层,热数据保存在全闪存高性能存储节点,温冷数据可以保存在S11、S31等大容量对象存储节点,实现数据在不同性能的节点间自由流动。数据以对象的方式保存,享有对象存储的价格优势,对于上层应用,可以通过WekaIO(Weka)支持NAS应用。

与市场上常见的对象存储方案相比,专业的HCP产品,容量密度更高,可以在4U机架空间内提供1.7PB存储容量。根据Hitachi Vantara提供的数据,用HCP构建S3对象存储服务,I/O性能(吞吐量)可以提升3.4倍,成本可以降低34%,这还没有计算数据中心机架空间、电力、计算资源节省带来的效益。

Hitachi Vantara对外也支持纯软件方案,实现了软硬件的解耦。

Hitachi Vantara中国区首席技术官吴卫平指出:Hitachi Vantara与Weka的全球OEM合作将会以高性能、NVMe原生、并行的文件系统增强HitachiVantara的产品组合,这一文件系统将会与HCP对象存储紧密耦合。这种高性能的NAS解决方案能广泛适用于各行各业的人工智能机器学习和分析应用程序。

“HCP的此次功能扩展采用性能优化的全闪存HCP节点,可更好地支持新一代非结构化数据工作负载。这些增强的功能可帮助客户在Amazon Simple Storage Service协议上实现与以往相比3.4倍的吞吐率,并降低多达34%的成本。” 吴卫平说。

用对象支撑起新天地

对象存储的价值,也并不依赖分布式NAS。

如今是多云的时代,以AWS S3对象存储服务为代表,为用户提供多种选择已成为主流趋势。Hitachi Vantara HCP这样的专业存储解决方案可以用来构建对象存储平台,构建私有云对象存储,但这需要用户运维和管理私有云平台。

对象存储适用于数据备份、文件共享等应用场景。

以内部文件共享为例,企业可以构建类似云盘这样的服务。文件被保存在云盘,支持企业员工共享和移动办公。但从企业管理、合规需求来看,企业首先考虑的一是文件使用权限管理,二是数据的安全可靠,如防止黑客入侵、对数据进行篡改。与勒索病毒相比,这种数据篡改手段更加隐蔽、不易察觉,造成的影响和危害也更为巨大。

采用对象存储平台,借助哈希256算法,用户可以自行对数据进行加密保护。加密保护后的数据,可以防止篡改,同时因为没有办法进行二次加密,因而可以抵御勒索病毒的困扰。

吴卫平指出:很多用户希望采用S3等公有云服务。在这种情况下,用户可以考虑把元数据(索引数据)以及加密后的公钥存储在本地HCP,将海量数据保存在云平台。一来可以享用公有云平台的廉价,同时也不失去对于数据的管控。未来,当用户因为成本的原因,需要对数据进行迁移的时候,主动权完全掌握在用户自己的手里,不会完全受制于云服务商。

小结

从SAN到NAS再到对象存储,存储技术的创新是随数据规模的变化而不断发展的。各种形态的存储产品并不是简单的替代关系,每一次新的存储形态出现都是为了解决不断出现的新问题,就像NAS比SAN在技术上更适合文件的共享与存储,但并不会完全替代SAN;SAN仍然是数据库等结构化数据的首选,同时仍然可用于存储少量的文件类数据。

当用户的非结构化数据达到一定规模,或者文件数据达到一定量级的时候,对象存储需求将是自然而然的事情。男大当婚,女大当嫁,合理的人生目标和规划,将是幸福美满的保护神!

早日选择对象存储,防患于未然!
责任编辑:pj

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NAS
    NAS
    +关注

    关注

    11

    文章

    278

    浏览量

    112332
  • 数据备份
    +关注

    关注

    0

    文章

    57

    浏览量

    11823
  • 云服务
    +关注

    关注

    0

    文章

    801

    浏览量

    38848
收藏 人收藏

    评论

    相关推荐

    戴尔升级结构化存储与数据管理,AI创新引领新变革

    在快速演进的人工智能(AI)与数据驱动的时代,企业唯有不断追逐技术创新的浪潮,方能抢占先机,引领行业前行。戴尔科技,作为AI就绪型数据平台的领航者,近期对其Dell PowerScale及数据管理产品组合进行了全面升级,旨在通过
    的头像 发表于 10-29 16:52 454次阅读

    直流负载箱的主要功能有哪些?

    排放。通过节能环保功能,可以降低测试成本,提高测试效率。直流负载箱作为种重要的测试设备,具有模拟负载负载控制、故障模拟、保护
    发表于 09-24 16:30

    基于分布式对象存储WDS的信托结构化数据整合平台

    基于分布式对象存储WDS的信托结构化数据整合平台
    的头像 发表于 08-28 09:56 234次阅读
    基于分布式对象存储WDS的信托<b class='flag-5'>非</b><b class='flag-5'>结构化</b><b class='flag-5'>数据</b>整合平台

    工业数据中台的功能和应用场景

    。 实时数据流处理和批量数据处理。 2.数据存储与管理: 提供分布式存储解决方案,如Hadoop、HBase等。 数据湖和数据仓库建设,
    的头像 发表于 07-04 16:18 258次阅读

    定期维护结构化布线对于办公室得重要性

    最大限度地减少网络停机时间,确保最佳性能,并延长基础设施的使用寿命。忽视维护可能会导致连接问题、数据传输速度变慢,甚至整个系统故障。 投入时间和资源进行结构化布线维护是种积极主动的方
    的头像 发表于 06-14 10:44 208次阅读

    什么是结构化网络布线?结构化网络布线有哪些好处?

    在电缆领域,结构化网络布线这个术语经常被提及。人们将其用作流行语,但它的真正含义是什么?结构化布线到底是什么? 为了了解真正的含义,让我们看它的些相关定义。 根据光纤协会的说法,结构化
    的头像 发表于 04-11 11:54 456次阅读

    结构化布线的好处多吗

    考虑将这种布线纳入网络基础设施中,以优化性能和生产力。 结构化布线的好处 • 增强的可靠性:结构化布线通过最大限度地减少错误和故障点来确保可靠的网络基础设施。正确安装和组织的布线可以降低信号干扰、
    的头像 发表于 04-07 11:15 392次阅读

    什么是网络系统中的结构化布线?

    结构化布线在网络系统中发挥着至关重要的作用,为组织内的无缝通信和数据传输提供了坚实的基础。这种综合基础设施旨在支持广泛的应用程序和技术。本文将深入探讨它是什么、为什么它很重要以及它为组织提供的好处
    的头像 发表于 04-07 10:58 329次阅读

    鸿蒙语言ArkTS(更好的生产力与性能

    风格的基础上,进步通过规范强化静态检查和分析,使得在程序运行之前的开发期能检测更多错误,提升代码健壮性,并实现更好的运行性能。 针对JavaScript(简称JS)/TS并发能力支持
    发表于 02-17 15:56

    科通技术推出基于FPGA的应用设计结构化技术

    随着汽车技术的飞速发展,汽车功能的复杂性对处理芯片的算力及IO端口数量提出了更高的要求。作为家正在进行IPO排队的公司,深圳市科通技术股份有限公司(以下简称:科通技术)积极应对市场挑战,针对新一代汽车辅助驾驶的需求,研发了
    的头像 发表于 02-02 09:34 484次阅读

    CFD 设计利器:结构化结构化网格的组合使用

    (曾用名Autogrid),非常适合带有几何形状叶片的涡轮机械应用。01结构化or结构化网格选择,两难境地?随着几何形状的复杂性不断增加(现在通常有超过10k个曲面
    的头像 发表于 12-23 08:12 1592次阅读
    CFD 设计利器:<b class='flag-5'>结构化</b>和<b class='flag-5'>非</b><b class='flag-5'>结构化</b>网格的组合使用

    国产六核CPU,三屏异显,赋能新一代商显

    采用AEC-Q100车规级芯片工艺,并且通过ISO26262 ASIL_B功能安全认证,是国产高性能芯片的代表作。米尔电子与芯驰科技(SemiDrive)强强联合,基于芯驰D9-Pro高性能
    发表于 12-22 18:07

    使用关系数据库中的半结构化数据

    NoSQL革命已经进入了关系世界。您可能正在使用关系数据库,但仍必须查询和理解隐藏在文本列、JSON或 XML文档中的半结构化数据
    的头像 发表于 12-20 10:46 595次阅读
    使用关系<b class='flag-5'>数据</b>库中的半<b class='flag-5'>结构化</b><b class='flag-5'>数据</b>

    TI 新一代明星CPU

    是 TI 新一代明星CPU,完美接替上一代AM335x,拥有更强劲的性能,让你的应用变得轻松自如。 AM62x处理器适用于医疗、工业HMI、自动
    发表于 12-15 18:59

    IBM 发布新一代 IBM Storage Scale System 6000,加速释放数据和 AI 的潜力

    面向结构化数据的全新云规模、高性能存储设备,支持最严苛的 AI 和容量密集型工作
    的头像 发表于 11-14 19:45 565次阅读
    IBM 发布<b class='flag-5'>新一代</b> IBM Storage Scale System 6000,加速释放<b class='flag-5'>数据</b>和 AI 的潜力