0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

低延迟的分布式数据库架构对于新兴的雾应用程序至关重要

星星科技指导员 来源:嵌入式计算设计 2022-12-02 13:58 次阅读

物联网 (IoT) 解决方案对任何数据库都提出了独特的挑战。来自非常广泛的物联网设备的数据越来越大,速度越来越快,再加上关键的延迟要求。鉴于此,数据的处理和分析必须越来越多地在网络边缘处理,靠近传感器、执行器和其他物联网设备。

我们不再奢侈地能够在云环境中处理物联网数据,因为云环境中似乎有无限的计算和存储资源,因为延迟是不可接受的。值得庆幸的是,有强大的数据库和平台解决方案可以正面应对这一挑战,我们将在下面进行探讨。但首先,让我们回顾一下物联网环境特有的一些数据要求。

考虑到物联网和大数据的数量、速度、多样性和准确性(“四个V”)要求,以及许多这些用例的分布式性质,边缘计算越来越多地成为赌注的隐喻。

那么,如果我们回到边缘的分布式计算,有没有办法保持我们长期享有的功能(以及我们在过去 10 年中云计算的巨大趋势的原因)?我们也可以吃蛋糕吗?

通过雾计算将云主体带到边缘

幸运的是,在这种情况下 - 随着雾计算的普及和增长趋势 - 答案是肯定的。解决方案是将云主体带到边缘,雾和云环境协同运行,以处理复杂的物联网用例。当您有关键的延迟要求时,例如对于枪击检测或犯罪人脸识别等智能城市物联网用例,您的数据必须由靠近 IP 摄像机和其他传感器的加固雾节点处理。

非延迟关键数据仍可同步到核心或云。通过这种方式,来自 IoT 解决方案中所有边缘设备和雾节点的数据可以在核心级别(例如,智能城市用例中的城市街区)聚合,并最终聚合到云或数据中心环境以进行商业智能和其他分析。

对于雾计算,我们将物联网设备、边缘设备、雾节点和云之间的数据通信称为“南北”通信,将整个系统中边缘/雾节点之间的数据通信称为“东西向”通信。为了有效,我们必须在边缘拥有通用的云或数据中心环境功能,例如机器学习深度学习和其他人工智能

这就带来了下一个挑战:考虑到边缘设备和雾节点的分布式性质以及适度的存储和计算能力,我们如何处理这些需求?让雾和云环境协同运行至关重要。例如,通过机器学习,我们需要在拥有大量计算和存储资源的云中训练模型。然后,我们需要将这些经过训练的模型部署到雾节点和/或边缘设备,以便它们可以靠近物联网设备,以最大程度地减少延迟。

面向“智能边缘”的数据库

“智能边缘”已经到来,并将我们从这些看似无法解决的问题中解救出来(或者小林丸为你们《星际迷航》粉丝)。边缘已经成为当今物联网的战场,但地球上是否有一个数据库可以处理来自数千个传感器、摄像头和其他设备的大量高速数据?一个可以实时处理数据,使用许多不同的数据库模型,并且占用空间小?

业界正在解决这个问题,答案是:是的。

现在市场上有解决方案可以提供快速的性能,并且能够在物联网边缘每秒摄取数百万次写入,延迟不到 1 毫秒。这很强大。由于这些解决方案的硬件和软件占用空间很小,因此在某些情况下,它们非常适合安装在雾节点、边缘网关设备甚至物联网设备上。

其中一些解决方案(例如 Redis Enterprise)具有许多本机数据结构(集合、排序集、列表、哈希、流等),为 IoT 应用程序开发人员提供了最大的灵活性。此外,由于已经存在许多模块来扩展它,这些解决方案可以采用多模型数据库,可以处理物联网边缘所需的非常多样化的工作负载:时间序列、图形、机器学习、搜索等。

简化的架构

这些平台无需部署六个不同的数据库来支持这些需求,而是可以管理所有这些数据库,从而极大地简化了您的架构。许多任务关键型物联网用例在地理上分布在许多地区,这是另一个用例,可以通过具有高可用性、主动-主动(具有 CRDT)、灾难恢复和自动扩展功能的平台优雅地处理。

既然我们已经展示了值得在智能边缘上使用的数据库,您可能想知道哪个平台最适合在物联网边缘运行它们?当然,有很多变量和选项。在Redis Labs,我们与Microsoft Azure合作开发了物联网边缘解决方案。关键是为客户提供快速的常规数据存储、Azure Edge 模块之间的消息代理、流处理、时序数据库和内存中处理(机器学习模型服务、图形处理等),以实现最佳性能。

物联网社区将从联合物联网边缘解决方案中受益匪浅。但是,将正确的数据库与正确的智能物联网边缘解决方案集成对于所有物联网工作的成功至关重要。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2545

    文章

    50439

    浏览量

    750966
  • 物联网
    +关注

    关注

    2900

    文章

    44052

    浏览量

    370083
收藏 人收藏

    评论

    相关推荐

    一文讲清什么是分布式云化数据库

    分布式云化数据库是一种先进的数据管理系统,它将传统的数据库技术与分布式计算、云计算和大数据处理技
    的头像 发表于 10-14 10:06 165次阅读

    分布式云化数据库的优缺点分析

    分布式云化数据库的优点主要体现在高可用性和容错性、可扩展性、体系结构、数据一致性、成本、升级迭代等方面。同时也存在一些缺点,如通信开销较大、数据的存取结构复杂、
    的头像 发表于 09-14 09:42 213次阅读

    基于分布式存储WDS的金融信创云承载数据库类关键应用

    基于分布式存储WDS的金融信创云承载数据库类关键应用
    的头像 发表于 08-16 09:42 224次阅读
    基于<b class='flag-5'>分布式</b>存储WDS的金融信创云承载<b class='flag-5'>数据库</b>类关键应用

    基于英特尔至强6能效核处理器优化原生分布式数据库OceanBase

    随着数字化、在线化、智能化的演进,企业面临着指数级递增的海量存储需求和挑战,同时,企业需要降本增效,进行更好更智能的数据决策。基于英特尔 至强 6 能效核处理器的分布式数据库OceanBase在性能
    的头像 发表于 07-24 15:16 429次阅读
    基于英特尔至强6能效核处理器优化原生<b class='flag-5'>分布式数据库</b>OceanBase

    小米试点业务系统上线OceanBase,数据库性能飞跃新高度

    系统逐渐显露出性能瓶颈和运维成本高昂的问题。为此,小米集团于2023年10月做出了重要战略决策,引入蚂蚁集团自主研发的OceanBase分布式数据库,以期在数据库性能、稳定性及成本效益上实现全面升级。
    的头像 发表于 07-03 15:39 611次阅读

    鸿蒙开发接口数据管理:【@ohos.data.distributedData (分布式数据管理)】

    分布式数据管理为应用程序提供不同设备间数据库分布式协同能力。通过调用分布式
    的头像 发表于 06-07 09:30 864次阅读
    鸿蒙开发接口<b class='flag-5'>数据</b>管理:【@ohos.data.distributedData (<b class='flag-5'>分布式</b><b class='flag-5'>数据</b>管理)】

    HarmonyOS开发实例:【分布式数据服务】

    分布式数据服务(Distributed Data Service,DDS)为应用程序提供不同设备间数据分布式的能力。
    的头像 发表于 04-18 10:18 658次阅读
    HarmonyOS开发实例:【<b class='flag-5'>分布式</b><b class='flag-5'>数据</b>服务】

    鸿蒙HarmonyOS开发实例:【分布式关系型数据库

    使用[@ohos.data.relationalStore]接口和[@ohos.distributedDeviceManager] 接口展示了在eTS中分布式关系型数据库的使用,在增、删、改、查的基本操作外,还包括分布式数据库
    的头像 发表于 04-11 09:52 783次阅读
    鸿蒙HarmonyOS开发实例:【<b class='flag-5'>分布式</b>关系型<b class='flag-5'>数据库</b>】

    什么是分布式架构?

    1.独立性:分布式架构中的各个节点是独立运行的,它们没有依赖关系,可以单独进行升级、维护和扩展。 2.通信性:分布式架构中的各个节点通过网络连接进行通信和协作,以实现
    的头像 发表于 01-12 15:04 1124次阅读
    什么是<b class='flag-5'>分布式</b><b class='flag-5'>架构</b>?

    分布式锁的三种实现方式

    ,下面将分别介绍三种常见的实现方式。 一、基于数据库实现的分布式锁 在分布式系统中,数据库是最常用的共享资源之一。因此,可以通过数据库的特性
    的头像 发表于 12-28 10:01 832次阅读

    关于JSON数据库

    如何理解JSON数据库?作为NoSQL数据库的一种类型,JSON数据库有哪些优势呢?JSON数据库如何运作,它为应用程序开发者带来了哪些价值
    的头像 发表于 12-06 13:46 821次阅读
    关于JSON<b class='flag-5'>数据库</b>

    分布式系统硬件资源池原理和接入实践

    和音频驱动信息,存入分布式数据库。如果 AB 两个设备建立了可信关系并且通过软总线组网上线成功,分布式数据库会在 AB 两个设备之间自动同步各自的本地外设数据信息,这样,设备 A 分布式
    发表于 12-06 10:02

    分布式数据恢复-hbase+hive分布式存储误删除文件的数据恢复方案

    hbase+hive分布式存储数据恢复环境: 16台某品牌R730XD服务器节点,每台物理服务器节点上有数台虚拟机,虚拟机上配置的分布式,上层部署hbase数据库+hive
    的头像 发表于 11-24 15:55 395次阅读

    springcloud分布式事务解决方案

    不同的微服务之间进行数据交互时,可能会出现一致性问题。 分布式事务的定义是一个操作或者一组操作,要么全部执行成功,要么全部不执行。在传统的单体应用程序中,通常使用关系型数据库的事务来维
    的头像 发表于 11-16 11:03 1973次阅读

    springclould分布式教程

    的基本概念、主要组件以及如何使用Spring Cloud构建分布式系统。 一、Spring Cloud的基本概念 分布式系统 分布式系统是由多个独立计算机集合而成的系统,这些计算机通过网络进行通信和协作,共同完成系统的任务。 微
    的头像 发表于 11-16 10:59 450次阅读