0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

柏科数据官方推出"ISCloud分布式云存储",应对PB级数据管理,突破不断

话说科技 2021-05-26 11:40 次阅读

非结构化数据遍布于各行各业,这类数据在医疗、安防监控、政务、金融等行业中尤为明显,他们都有着海量的非结构化数据。同时,非结构化数据正以60%增长趋势逐年递增。毫无疑问,这一增长趋势对企业如何更好的管理好PB级数据提出了严峻挑战。

存储系统中数据的变化:以结构化为主的数据,正在向非结构化数据等混合型数据进行大量的转变。据IDC(天风证券,2020)预测,到2025年我国数据将达48.6ZB(18年至25年复合增速超过30%),其中80%为非结构化数据(XML、图像、声音、超媒体等信息)。

存储系统中规模的变化:在大数据、5G云计算等新一代信息技术的催化下,企业需要应对PB级(1PB=1024TB)容量的数据存储需求,延续使用集中存储的方式,在单一存储节点上scale-up。不仅会对存储系统的性能造成影响,同时会受限于物理介质、传输媒介及TCO成本等因素,最终造成容量上的局限性,很显然纵向扩展的形式并不适应于现代化的企业级存储需求。

为了更加适应动态变化的应用场景,出现了中心化Ceph的分布式存储架构,它是由MON、OSD、MDS与RADOS等核心组件构成。与HDFS相比之下,没有通过NameNode元数据寻址的方式,而是通过一种CRUSH算法,通过两次映射计算数据存储位置来确定如何存储和检索数据。CRUSH 使用户端能直接与OSDs进行通信,且并行读写速度更高。

去中心化Ceph存储系统架构,特别是在支持块存储特性上,可以使数据具有较强的一致性,Ceph可使用任何一个运行在该存储节点上的OSD获取数据信息,相对于Swift及HDFS来说更加灵活。以Ceph分布式存储架构为代表的柏科数据ISCloud分布式存储系统,一方面通过CRUSH算法实现了存储单元间的数据重新分布及智能交互。另一方面scale-out的扩张形式,突破了规模化扩张造成的性能瓶颈。

2105261011011690868904.png

在安防监控的应用场景下,数据存储经历了几个阶段,逐步从DVR存储过渡到网络前端加网络存储阶段。随着网络带宽的提高,高清应用的普及,对安防存储系统的容量和数据安全提出了更高的要求。柏科数据ISCloud分布式存储系统在面对监控业务海量非结构化数据存储方面,相比于传统安防类存储具有天然的优势,也便于与其他调用平台结合,将为视频监控行业带来存储架构和安全性上全面的升级变更。

2105261011021091564906.png

实现性能提升&保障业务连续性:

⦁ 将业务系统迁移至ISCloud分布式存储系统,解决了存储节点单点故障的问题,使其业务不中断;

⦁ 提升节点间访问能力,以保证数据的写入读取和各节点之间数据交互的稳定性及一致性。

实现多重数据保护:

⦁ 结合ISCloud分布式存储系统应用层数据保护策略(副本冗余技术或纠删技术等),采取纠删N+2的数据保护方式,对数据进行冗余保护措施;



声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
收藏 人收藏

    评论

    相关推荐

    HarmonyOS Next 应用元服务开发-分布式数据对象迁移数据文件资产迁移

    提供了async版本供该场景使用。 当前,wantParams中“sessionId”字段在迁移流程中被系统占用,建议开发者在wantParams中定义其他key值存储分布式数据对象生成的id,避免
    发表于 12-24 10:11

    HarmonyOS Next 应用元服务开发-分布式数据对象迁移数据权限与基础数据

    提供了async版本供该场景使用。 当前,wantParams中“sessionId”字段在迁移流程中被系统占用,建议开发者在wantParams中定义其他key值存储分布式数据对象生成的id,避免
    发表于 12-24 09:40

    WDS分布式存储系统软件助力电信工程海量数据存储项目

    WDS分布式存储系统软件助力电信工程海量数据存储项目
    的头像 发表于 11-11 09:59 209次阅读
    WDS<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>系统软件助力电信工程海量<b class='flag-5'>数据</b><b class='flag-5'>存储</b>项目

    一文讲清什么是分布式数据库!

    分布式数据库是一种先进的数据管理系统,它将传统的数据库技术与分布式计算、
    的头像 发表于 10-14 10:06 234次阅读

    基于分布式存储系统医疗影像数据存储解决方案

    基于分布式存储系统医疗影像数据存储解决方案
    的头像 发表于 09-14 09:53 336次阅读
    基于<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>系统医疗影像<b class='flag-5'>数据</b><b class='flag-5'>存储</b>解决方案

    基于分布式存储WDS的金融信创承载数据库类关键应用

    基于分布式存储WDS的金融信创承载数据库类关键应用
    的头像 发表于 08-16 09:42 286次阅读
    基于<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>WDS的金融信创<b class='flag-5'>云</b>承载<b class='flag-5'>数据</b>库类关键应用

    基于Openharmony轻量级操作系统的分布式数据管理开发案例

    实验内容本例程演示如何在小凌派-RK2206开发板上使用OpenHarmony轻量级操作系统进行KvStore(即分布式数据管理数据读写。例程:(1)创建两个线程,一个负责写入KvStore
    的头像 发表于 08-07 08:23 997次阅读
    基于Openharmony轻量级操作系统的<b class='flag-5'>分布式</b><b class='flag-5'>数据管理</b>开发案例

    基于Openharmony轻量级操作系统的分布式数据管理开发案例

    实验内容 本例程演示如何在小凌派-RK2206开发板上使用OpenHarmony轻量级操作系统进行KvStore(即分布式数据管理数据读写。 例程: (1)创建两个线程,一个负责写入KvStore
    发表于 08-06 11:56

    鸿蒙开发接口数据管理:【@ohos.data.distributedDataObject (分布式数据对象)】

    本模块提供管理基本数据对象的相关能力,包括创建、查询、删除、修改、订阅等;同时支持相同应用多设备间的分布式数据对象协同能力。
    的头像 发表于 06-07 17:51 1506次阅读
    鸿蒙开发接口<b class='flag-5'>数据管理</b>:【@ohos.data.distributedDataObject (<b class='flag-5'>分布式</b><b class='flag-5'>数据</b>对象)】

    鸿蒙开发接口数据管理:【@ohos.data.distributedData (分布式数据管理)】

    分布式数据管理为应用程序提供不同设备间数据库的分布式协同能力。通过调用分布式数据各个接口,应用程
    的头像 发表于 06-07 09:30 1023次阅读
    鸿蒙开发接口<b class='flag-5'>数据管理</b>:【@ohos.data.distributedData (<b class='flag-5'>分布式</b><b class='flag-5'>数据管理</b>)】

    HarmonyOS实战案例:【分布式账本】

    Demo基于Open Harmony系统使用ETS语言进行编写,本Demo主要通过设备认证、分布式拉起、分布式数据管理等功能来实现。
    的头像 发表于 04-12 16:40 1348次阅读
    HarmonyOS实战案例:【<b class='flag-5'>分布式</b>账本】

    HarmonyOS开发实例:【分布式数据管理

    eTS中分布式数据管理的使用,包括KVManager对象实例的创建和KVStore数据流转的使用。
    的头像 发表于 04-11 09:57 949次阅读
    HarmonyOS开发实例:【<b class='flag-5'>分布式</b><b class='flag-5'>数据管理</b>】

    分布式运维管理平台在计算环境中的实施案例分析

    引入分布式运维管理平台,以实现对计算环境的全面管理和优化。 二、平台实施与优势 资源统一调度与管理
    的头像 发表于 03-26 16:16 567次阅读

    数据时代的存储革命:理解分布式存储系统

    的效率极低。因此,分布式存储系统应运而生。 分布式存储就是将数据存储在众多的服务器或网络节点上,
    的头像 发表于 03-07 15:40 435次阅读

    分布式存储与计算:大数据时代的解决方案

    分布式存储和计算技术应运而生,并迅速成为处理大数据的首选方案。本文将深入探讨分布式存储和计算的概念、优势及其在各个领域的应用情况。 1.
    的头像 发表于 03-07 14:42 791次阅读