0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

分布式存储仍面临若干技术瓶颈,5G+分布式云加速边缘赋能新基建

牵手一起梦 来源:Ai芯天下 作者:Ai芯天下 2021-01-06 14:50 次阅读

未来,随着新基建的建设逐渐深入,千行百业必然会在数字基础设施层迎来更大的变化,存储作为新基建中的基石,其作用与价值将会得到进一步提升。

存储、计算、传输,是互联网的三大基础,千姿百态的数字世界离不开这“三原色”,而主流存储技术,已经到了需要革新的地步。

新基建对数据处理提出了挑战

①海量:海量数据的不断涌现,到2025年全球新创建的数据将达到175ZB。

②多元:数据从单一内部小数据形态向多元动态大数据发展,数据环境多样、复杂,大量文本、图片、视频等非结构化数据被产生和存储。

③实时:金融风险评估、交通自动驾驶、运营商智能网络等场景,都得依赖快速实时的数据采集、存储和分析得以实现,到2023年实时数据占全球数据圈24.5%的份额。

④上云:未来全球将有超过70%的企业选择多云部署模式,核心数据中心的数据存储容量占比将超过50%。

⑤空间:目前只有不到2%的企业数据被存储下来,其中只有10%被用于数据分析,这说明,我国数据存储利用能力存在很大缺口。

分布式存储仍面临若干技术瓶颈,5G+分布式云加速边缘赋能新基建

分布式存储和分布式系统的提升

简单说,分布式存储就是一种数据存储技术,通过网络使用每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散地存储在网络中的各个角落。

打个比方:假设将数据类比为一个人,存储比作客车,直接存储就是一辆客车运输人;一到春运,客车不够运输了就采用火车和高铁进行运输,火车和高铁一节一节的车厢运输,就是分布式存储。

分布式系统的出现的根由就是是为了用普通的机器完成单个计算机无法完成的计算、存储任务,处理更多的数据。

①容量横向扩展:集群容量的扩展,通过增加存储节点实现,因为网络强大的扩展性,在理论上节点可以扩充到几千个,可以很好的满足海量存储容量需求。

②连接横向扩展:在传统存储应用中,网络接入带宽往往成为瓶颈,主要原因是存储对外接口数量扩展能力有限,而分布式存储则可以很好地解决这个问题,接口数量可以随节点数量的增加,实现接入带宽的行增长。

③性能线性提升:每个节点的性能(IOPS带宽)基本是确定的,整体性能随节点数量的增加线性提升,满足业务规模扩容后对性能的需求。

5G+分布式云加速边缘赋能新基建

我国5G已正式进入规模化商用阶段,边缘侧连接需求较大的业务场景迎来蓬勃发展的新契机。

在此趋势下,边缘赋能需求驱动云计算能力下沉,分布式云成为计算架构演进新趋势。

5G与分布式云融合,正加速边缘赋能新基建,同时催生的海量边缘连接场景,驱动云计算向一种更加全局化的分布式组合模式进阶。

伴随5G大规模商用部署,工业互联网、数字媒体等行业在5G融合方面已逐步开展商业部署,智慧医疗、车联网、智慧城市、数字农业等领域也纷纷在5G应用方面探索实践。

分布式云应运而生,成为新基建重要力量,边缘赋能需求驱动云计算能力下沉,分布式云成为计算架构演进新趋势。

MEC(Multi-access Edge Computing)边缘云较之传统云计算,MEC边缘云强调联接能力与计算能力的结合,包含覆盖资源层、虚拟化层、平台层、应用层的完整架构体系,并强调本地分流、网络能力开放、网络资源管理等特有能力。

有望取代HTTP的IPFS被寄予了厚望

互联网是建立在HTTP协议之上的,HTTP协议让互联网得到了迅速的发展,但是在互联网发展的今天,HTTP逐渐走出了不足,HTTP集中效率低下,而且成本很高。

现行网络所基于的HTTP协议中心化特性所导致的问题正在日益凸显,下载速度慢、数据安全性差、存储成本高、数据留存时间短、带宽有限且昂贵等桎梏显然适应不了即将来临的新时代。

IPFS(分布式文件系统)是一种点对点的超媒体传输协议,基于内容寻址的它相比HTTP下载速度快、数据安全性高、存储成本低廉、数据留存时间长,加入网络中的人越多网络越流畅。

在疫情没有爆发前,据统计IPFS在2019全年公共网络增长了30倍,在有效存储数据方面全球累计获得了300多亿份,目前还在以每两年翻一倍的速度爆发式增长。

这和IPFS目前被成功应用在数据存储、内容分享、文件传输、网络视频、社交网络、去中心化交易、身份服务、区块链应用、金融电商等各个领域的生态息息相关。

5G技术与应用即将井喷式发展的当下,爆发性增长的数据存储需求也是推动存储技术变革的重要推动力。

5G的出现还给IPFS提供了高带宽,使IPFS更加便捷,新基建、5G 与IPFS结合必将会共建存储新时代。

分布式存储仍面临若干技术瓶颈

①目前的分布式存储暂时无法实现数据价值分层,难以实现有效激励,可以考虑将底层构架和应用层策略相结合;

②分布式存储从代码实现到协议层都有很大的优化空间,还会受到网络规模限制,存在 I/O 性能问题;

③存储数据价值较高的用户需要承担更大的服务质量风险,付费意愿较弱,需要应用层解决方案。

④考虑到系统运维成本、服务质量和宏观监管等问题,未来的分布式存储系统需要引入中心化组织形式来弥补运营成本。

结尾:

疫情在一定程度上倒逼了数字经济的发展,在这种情况下,新基建的异军突起也就变得顺理成章了。

这次新冠疫情可以视为一次压测,基于5G、云计算、大数据、AI的新基建带来的存储变革正在释放。

责任编辑:gt

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 运营商
    +关注

    关注

    4

    文章

    2398

    浏览量

    44493
  • 存储
    +关注

    关注

    13

    文章

    4324

    浏览量

    85934
  • 5G
    5G
    +关注

    关注

    1355

    文章

    48474

    浏览量

    564704
  • 自动驾驶
    +关注

    关注

    784

    文章

    13848

    浏览量

    166579
收藏 人收藏

    评论

    相关推荐

    分布式通信的原理和实现高效分布式通信背后的技术NVLink的演进

    大型模型的大小已经超出了单个 GPU 的范围。所以就需要实现跨多个 GPU 的模型训练,这种训练方式就涉及到了分布式通信和 NVLink。 当谈及分布式通信和 NVLink 时,我们进入了一个引人入胜且不断演进的技术领域,下面我
    的头像 发表于 11-18 09:39 494次阅读
    <b class='flag-5'>分布式</b>通信的原理和实现高效<b class='flag-5'>分布式</b>通信背后的<b class='flag-5'>技术</b>NVLink的演进

    浅谈屋顶分布式光伏发电技术的设计与应用

    【摘要】为了缓解城市用电紧张袁降低人们的用电成本,可以在工业园区、办公楼屋顶等场所应用屋顶分布式光伏发电技术进行就近转换、并网发电袁充分利用建筑物屋顶的太阳资源。概述屋顶分布式光伏发电技术
    的头像 发表于 11-11 15:10 608次阅读
    浅谈屋顶<b class='flag-5'>分布式</b>光伏发电<b class='flag-5'>技术</b>的设计与应用

    分布式光纤测温是什么?应用领域是?

    分布式光纤测温是一种先进的温度测量技术,它利用光纤的拉曼散射原理进行温度监测。以下是对分布式光纤测温的详细介绍: 一、基本原理 分布式光纤测温的原理基于光纤的拉曼散射效应。当光纤某处的
    的头像 发表于 10-24 15:30 408次阅读
    <b class='flag-5'>分布式</b>光纤测温是什么?应用领域是?

    分布式光纤声波传感技术的工作原理

    分布式光纤声波传感技术(Distributed Acoustic Sensing,DAS)是一种利用光纤作为传感元件,实现对沿光纤路径上的环境参数进行连续分布式测量的技术
    的头像 发表于 10-18 14:50 788次阅读
    <b class='flag-5'>分布式</b>光纤声波传感<b class='flag-5'>技术</b>的工作原理

    一文讲清什么是分布式化数据库!

    分布式化数据库是一种先进的数据管理系统,它将传统的数据库技术分布式计算、计算和大数据处理技术
    的头像 发表于 10-14 10:06 232次阅读

    某证券公司智能投资交易云集群高性能分布式存储应用

    某证券公司智能投资交易云集群高性能分布式存储应用
    的头像 发表于 09-27 09:57 281次阅读
    某证券公司智能<b class='flag-5'>云</b>投资交易云集群高性能<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>应用

    分布式存储费用高吗?大概需要多少钱

    分布式存储的费用是否高,取决于多个因素,包括存储容量、性能要求、服务提供商、计费模式等。因此,无法简单地给出一个“高”或“不高”的答案。通常分布式
    的头像 发表于 09-24 10:41 277次阅读

    基于分布式存储WDS的金融信创承载数据库类关键应用

    基于分布式存储WDS的金融信创承载数据库类关键应用
    的头像 发表于 08-16 09:42 286次阅读
    基于<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>WDS的金融信创<b class='flag-5'>云</b>承载数据库类关键应用

    基于WDS的保险公司极速分布式存储建设高速混合方案

    基于WDS的保险公司极速分布式存储建设高速混合方案
    的头像 发表于 07-08 09:52 330次阅读
    基于WDS的保险公司极速<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>建设高速混合<b class='flag-5'>云</b>方案

    浪潮信息发布AS13000G7-N系列分布式全闪存储

    浪潮信息近日推出了专为大型AI模型优化的AS13000G7-N系列分布式全闪存储。该系列基于浪潮信息自研的分布式文件系统,结合新一代数据加速
    的头像 发表于 05-14 10:03 584次阅读

    分布式能源是什么意思?分布式能源有什么优势?

    分布式能源指的是在用户端或靠近用户端的小型能源供应系统,它能够直接满足用户的多种能源需求,如电力、热能和冷
    的头像 发表于 04-29 17:26 2348次阅读

    分布式存储与计算:大数据时代的解决方案

    分布式存储和计算技术应运而生,并迅速成为处理大数据的首选方案。本文将深入探讨分布式存储和计算的概念、优势及其在各个领域的应用情况。 1.
    的头像 发表于 03-07 14:42 786次阅读

    5G分布式小基站组网结构及优势

    5G分布式小基站的范围因产品形态、发射功率和覆盖场景等因素而异。一般来说,其覆盖范围在10~200米之间。
    发表于 02-01 09:54 1677次阅读
    <b class='flag-5'>5G</b><b class='flag-5'>分布式</b>小基站组网结构及优势

    鸿蒙OS 分布式任务调度

    鸿蒙OS 分布式任务调度概述 在 HarmonyO S中,分布式任务调度平台对搭载 HarmonyOS 的多设备构筑的“超级虚拟终端”提供统一的组件管理能力,为应用定义统一的能力基线、接口
    的头像 发表于 01-29 16:50 511次阅读

    什么是分布式架构?

    分布式架构是指将一个系统或应用拆分成多个独立的节点,这些节点通过网络连接进行通信和协作,以实现共同完成任务的一种架构模式。这种架构模式旨在提高系统的可扩展性、可靠性和性能表现。 一、分布式架构的特点
    的头像 发表于 01-12 15:04 1270次阅读
    什么是<b class='flag-5'>分布式</b>架构?