0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

浪潮分布式存储平台AS13000让企业轻松应对海量数据挑战

浪潮存储 来源:浪潮信息 作者:浪潮信息 2022-08-14 14:16 次阅读

随着经济社会加速数字化转型,大数据、云计算人工智能区块链等新一代信息技术快速兴起,智慧政务、金融科技、智慧交通、远程教育、智慧医疗等应用加速落地,包含各种办公文档、图片、视频音频、设计文档、日志文件、机器数据等的非结构化数据爆发式增长,企业和组织愈发重视海量非结构化数据的管理与应用。如何依靠底层技术让海量非结构化数据的管理和使用更简单?无处不在的元数据给出了答案。

什么是元数据?

元数据是关于数据的数据,人们身边的一切信息和资源都可以用数据来描述,元数据则是从数据资源中抽取用来说明其特征和内容的结构化数据,用于组织、管理、保存、检索信息和资源。虽然人们看不见元数据的存在,但它却无时无刻不伴随左右。人们平时所津津乐道的大数据,也是基于元数据来计算的。

企业和组织用户可以基于元数据对海量非结构化数据进行管理,例如获取后缀名为jpeg的所有图片文件列表、获取文件大小大于10M的文件列表、获取给定日期之前创建的文件列表,在快速获取符合条件的文件之后高效管理对应的数据。而如何更方便快捷地查找到非结构化的文件成为了分布式存储全新的挑战。

原始的数据检索方式较为简单粗暴,难以应对文件多、目录层次深、检索条件复杂等问题。例如Linux中的find查找,对象存储中的前缀检索,都只能遍历所有文件进行筛选。功能上不能满足多样化的检索需求,检索字段有限,检索方式单一;性能上也挑战了底层元数据管理服务的检索能力和检索效率。

浪潮分布式存储基于对元数据检索的研究,在分布式存储平台AS13000上进行技术创新,在对象、文件、大数据三大非结构化存储场景,研发了元数据检索功能。支持对文件名称、路径、类型、大小、自定义元数据、创建时间、修改时间、用户(组)、桶等关键字段进行检索,支持基础检索和逻辑关系自定义等高级检索功能。百亿级文件,亚分钟级检索。

浪潮分布式存储

元数据检索的四大优势

浪潮分布式存储AS13000元数据检索能够同时兼容对象、文件、大数据三大非结构化存储场景,引入Elasticsearch作为元数据检索引擎,支持NFS、CIFS、S3、Swift、HDFS协议。

Elasticsearch是一个可扩展的RESTful风格的分布式数据检索和分析引擎,它能够快速且近实时地存储、检索、分析海量数据,通常用作具有复杂检索应用的底层引擎。传统的分布式存储+Elasticsearch,即为浪潮分布式非结构化存储AS13000元数据检索的核心。

文件的元数据信息会同步至Elasticsearch引擎中,基于此,用户的元数据检索命令通过协议转换,在Elasticsearch中检索出符合要求的文件信息,返回给用户。

比如,浪潮分布式存储具有更全面的协议支撑。浪潮分布式存储AS13000能够同时支持NFS、CIFS、S3、Swift、HDFS协议进行检索;同时支持客户自己的RESTful风格访问程序进行自定义元数据信息检索。

又如,具备更灵活便捷的检索方式。基于上述的结构,浪潮分布式存储AS13000支持了更为丰富的检索手段和快捷的检索速度,对数据存储本身的读写影响更小。支持的检索内容包括两个方面,其一,丰富的检索字段,包括文件名称、路径、类型、大小、创建时间、最后修改时间、用户名、用户组名、桶名,以及用户自定义的元数据信息,都可以作为检索字段。其二,多样的检索逻辑;支持大于、大于等于、小于、小于等于、不等于、等于等算术比较运算符,逻辑支持“并且”“或者”等逻辑运算符。企业可以根据需求在检索界面上进行检索式的组装,且检索结果支持分页展示。

再如,更安全的元数据保护。为了保护用户的元数据信息,避免非法的RESTful请求恶意获取Elasticsearch中的元数据信息,浪潮分布式存储AS13000同时针对Elasticsearch进行了安全限制,针对Elasticsearch提供 数据流加密,同时基于角色进行访问安全校验,保障元数据信息的网络安全。

最后,更便捷的对接方式。浪潮分布式存储AS13000不仅自身能够提供元数据检索服务,同时能够轻松对接客户的Elasticsearch引擎。如果客户原本就有元数据检索引擎,则可以直接部署浪潮分布式存储,对接客户的Elasticsearch,不需要客户更改原本的检索手段,实现无缝切换。

具备元数据检索功能的浪潮分布式非结构化存储AS13000,已经在金融、通信、教科研、医疗等行业规模部署。为企业提供更简单、更丰富、更便捷的元数据检索方式,让企业轻松应对数字经济时代的海量数据挑战。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4296

    浏览量

    85801
  • 浪潮
    +关注

    关注

    1

    文章

    458

    浏览量

    23851
  • 元数据
    +关注

    关注

    0

    文章

    32

    浏览量

    9132

原文标题:浪潮分布式存储:元数据检索的四大优势

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    WDS分布式存储系统软件助力电信工程海量数据存储项目

    WDS分布式存储系统软件助力电信工程海量数据存储项目
    的头像 发表于 11-11 09:59 181次阅读
    WDS<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>系统软件助力电信工程<b class='flag-5'>海量</b><b class='flag-5'>数据</b><b class='flag-5'>存储</b>项目

    基于分布式对象存储WDS的信托非结构化数据整合平台

    基于分布式对象存储WDS的信托非结构化数据整合平台
    的头像 发表于 08-28 09:56 329次阅读
    基于<b class='flag-5'>分布式</b>对象<b class='flag-5'>存储</b>WDS的信托非结构化<b class='flag-5'>数据</b>整合<b class='flag-5'>平台</b>

    探秘IO分布式模块设计:数据处理更高效

    随着互联网的飞速发展,大数据、云计算、人工智能等技术逐渐成为时代的主流。在这个数据爆炸的时代,如何高效地处理海量数据成为企业面临的重大
    的头像 发表于 07-26 13:54 692次阅读
    探秘IO<b class='flag-5'>分布式</b>模块设计:<b class='flag-5'>让</b>大<b class='flag-5'>数据</b>处理更高效

    浪潮信息推出AIGC存储解决方案

    信息隆重推出了基于其新一代分布式存储平台AS13000G7的AIGC存储解决方案,这一创新成果无疑为当前大模型应用面临的
    的头像 发表于 07-03 11:16 714次阅读

    浪潮信息推出基于新一代分布式存储平台AS13000G7的AIGC存储解决方案

    、新一代分布式存储AS13000G7自身产品优势,新方案从容应对大模型应用对存储性能、容量以及数据
    的头像 发表于 07-01 19:00 1425次阅读
    <b class='flag-5'>浪潮</b>信息推出基于新一代<b class='flag-5'>分布式</b><b class='flag-5'>存储</b><b class='flag-5'>平台</b>AS<b class='flag-5'>13000</b>G7的AIGC<b class='flag-5'>存储</b>解决方案

    浪潮信息分布式存储AS13000完成英特尔至强6能效核处理器适配

    近日,浪潮信息分布式存储AS13000完成英特尔至强6能效核处理器适配,实现每瓦性能提升2.3倍,以更高的效率、更优的成本满足海量多态
    的头像 发表于 06-19 10:05 845次阅读
    <b class='flag-5'>浪潮</b>信息<b class='flag-5'>分布式</b><b class='flag-5'>存储</b><b class='flag-5'>AS13000</b>完成英特尔至强6能效核处理器适配

    面向企业关键业务场景的分布式存储软件ExponTech WDS

    面向企业关键业务场景的分布式存储软件ExponTech WDS
    的头像 发表于 06-05 09:41 327次阅读
    面向<b class='flag-5'>企业</b>关键业务场景的<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>软件ExponTech WDS

    浪潮信息发布AS13000G7-N系列分布式全闪存储

    浪潮信息近日推出了专为大型AI模型优化的AS13000G7-N系列分布式全闪存储。该系列基于浪潮信息自研的
    的头像 发表于 05-14 10:03 562次阅读

    为大模型专门优化 浪潮信息发布分布式全闪存储AS13000G7-N系列

    北京2024年5月10日 /美通社/ -- 近日,浪潮信息发布为大模型专门优化的分布式全闪存储AS13000G7-N系列。该系列依托浪潮信息
    的头像 发表于 05-10 16:37 428次阅读
    为大模型专门优化 <b class='flag-5'>浪潮</b>信息发布<b class='flag-5'>分布式</b>全闪<b class='flag-5'>存储</b>AS<b class='flag-5'>13000</b>G7-N系列

    浪潮信息发布为大模型专门优化的分布式全闪存储AS13000G7-N系列

    近日,浪潮信息发布为大模型专门优化的分布式全闪存储AS13000G7-N系列。该系列依托浪潮信息自研分布
    的头像 发表于 05-08 09:38 554次阅读
    <b class='flag-5'>浪潮</b>信息发布为大模型专门优化的<b class='flag-5'>分布式</b>全闪<b class='flag-5'>存储</b>AS<b class='flag-5'>13000</b>G7-N系列

    一图读懂浪潮信息新一代分布式全闪存储AS13000G7-N系列

    一图读懂浪潮信息新一代分布式全闪存储AS13000G7-N系列
    的头像 发表于 05-08 09:35 1270次阅读
    一图读懂<b class='flag-5'>浪潮</b>信息新一代<b class='flag-5'>分布式</b>全闪<b class='flag-5'>存储</b>AS<b class='flag-5'>13000</b>G7-N系列

    分布式运维管理平台助力大型电商系统稳定运行的案例分析

    成为电商企业解决这些问题的重要工具。本文将结合某大型电商企业的实际案例,分析分布式运维管理平台如何助力电商系统稳定运行。 二、案例背景 某大型电商
    的头像 发表于 03-26 16:32 467次阅读

    分布式运维管理平台在云计算环境中的实施案例分析

    引入分布式运维管理平台,以实现对云计算环境的全面管理和优化。 二、平台实施与优势 资源统一调度与管理 分布式运维管理平台能够自动识别、监控和
    的头像 发表于 03-26 16:16 548次阅读

    分布式运维管理平台在跨地域企业中的部署与运维案例

    问题,某跨地域企业决定引入分布式运维管理平台,以提升其运维效率和管理水平。 二、平台部署与优势 统一化管理与监控 分布式运维管理
    的头像 发表于 03-26 16:11 461次阅读

    分布式存储与计算:大数据时代的解决方案

    分布式存储和计算技术应运而生,并迅速成为处理大数据的首选方案。本文将深入探讨分布式存储和计算的概念、优势及其在各个领域的应用情况。 1.
    的头像 发表于 03-07 14:42 755次阅读