0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

工业互联网时代,我们为什么需要一个时序数据库?

格创东智 2019-01-28 13:02 次阅读

时间是公平的,时间也是不公平的。


公平在于时间对于所有人都是一样,不偏不倚;不公平在于随着时间的推移,事物发展的结果有可能大不相同。摩尔定律告诉我们,当事物进入正常轨道后,其发展的速度将呈现出指数级的增长芯片如此,网络如此,数据亦如此。

图片 1.png

于是,当互联网进入下半场:工业互联网or产业互联网时代后,联所能连,万物互联,同一时间,诸多因素争相进入指数级发展轨道,形成了互联网不能承受又不能不承受之重。


人生若只如初见,何事秋风悲画扇。


对于格创东智所处的工业互联网领域来说,一个非常明显的特点就是汇聚大量工业数据,而工业数据的一个非常明显的特点就是和时间有关。


一般而言,工业数据的典型特点包括

>>>>

产生频率快

工业数据采集基本为秒级,部分高频数据采集为毫秒or微秒级,每一个采集点一秒钟内可产生多条数据

>>>>

严重依赖于采集时间

每一条数据均要求对应唯一的时间

>>>>

测点多、信息量大、数据结构相对简单

常规的实时监测系统均有成千上万的监测点,监测点每秒钟都产生数据,每天产生几十GB的数据量


工业数据是IT界“只如初见”的新问题,但是,在工业界,这早就不是问题。


在传统的工业数据采集和工业监控领域(SCADA),都需要对联网的设备进行监控,并对监控采样到的数据进行持久化。在工业领域早就有专门的数据库来完成这个任务了。


这个专门的数据库就叫做:实时数据库(此处应有掌声)。工业领域的实时数据库具有数据采集、实时数据缓存、数据回写(向设备发送指令)、采样数据归档存盘等主要功能。目前工业领域实时数据库基本上被国外厂家所垄断,价格昂贵。以著名的PI数据库为例,基础版本(只有5000个测点)就需要大约10万美元,每个数据采集接口需要6000美元。于是,不知道有多少工业版的IoT项目都被扼杀在“摇篮中”,被“秋风悲画扇”了……


上帝关门,必然开窗。


所幸,接物联网的东风,时序数据库Time Series Database,TSDB)应运而“升”。

先看看维基百科上的解释:

图片 2.png

勉强翻译一下:“时序列数据库就是用来存储时序列(time-series)数据并以时间(时间点或时间区间)建立索引的软件。


简而言之,时序数据库全称为时间序列数据库。时间序列数据库主要用于指处理带时间标签(按照时间的顺序变化,即时间序列化)的数据,带时间标签的数据也称为时间序列数据。


规范言之,时间序列数据(Time Series Data,TSD)可以用一个二元函数来表示

TSD =Metric(Timestamp,Measurement),其中:

Metric代表可以唯一标识的数据序列;

Timestamp代表时间戳;

Measurement代表被测量;


简单的说,就是这类数据描述了某个被测量的主体在一个时间范围内的每个时间点上的测量值。它普遍存在于电力、化工行业等行业以及IT基础设施、运维监控系统和物联网等各类型实时监测中。


用来存储、管理、查询、处理上述二元函数数据的数据库,则可以称之为时序数据库。


时序数据库主要以解决下面几个问题:

  • 时序数据的写入:如何支持每秒钟上千万上亿数据点的写入。

  • 时序数据的查询:又如何支持在秒级对上亿数据的分组聚合运算。

  • 时序数据的存储:解决由海量数据存储带来的成本敏感问题。

  • 时序数据的生命周期管理:工业数据的价值主要体现在及时性,因此,工业数据的生命周期管理是时序数据库的核心使命。


各位看官,麻烦度娘一下,关键字:互联网监控系统,大家就会发现小米、饿了吗等互联网巨头也都在用时序数据库实现企业级的互联网监控系统。更别提目前所有国内外主流工业互联网平台了,几乎都是采用时序数据库来承接海量涌入的工业数据。


看到这里,估计已经有很多“杠精”跃跃欲试了:凭什么强大的Oracle、PostgreSQL 等传统关系型数据库搞不定时序数据?凭什么不用HBase、MongoDB、Cassandra等先进的分布式数据库来解决工业数据问题?有什么深刻技术理由非要用这个2017年才火爆起来的时序数据库呢?请继续关注格物汇的后续精彩文章!


本文作者:格创东智首席架构师王锦博士(转载请注明作者及来源)


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 实时数据库
    +关注

    关注

    0

    文章

    39

    浏览量

    10906
  • 智能制造
    +关注

    关注

    48

    文章

    5474

    浏览量

    76255
  • 工业互联网
    +关注

    关注

    28

    文章

    4297

    浏览量

    94039
  • 工业大数据
    +关注

    关注

    0

    文章

    72

    浏览量

    7824
收藏 人收藏

    评论

    相关推荐

    数据库数据恢复—通过拼接数据库碎片恢复SQLserver数据库

    运行在存储上的SQLServer数据库,有1000多个文件,大小几十TB。数据库每10天生成
    的头像 发表于 10-31 13:21 131次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—通过拼接<b class='flag-5'>数据库</b>碎片恢复SQLserver<b class='flag-5'>数据库</b>

    有云服务器还需要租用数据库吗?

    如果你的应用程序需要处理大量的数据,并且这些数据需要高效的查询和分析能力,那么租用专业的数据库服务可能是更好的选择。这些服务通常提供了更高的
    的头像 发表于 10-31 10:50 69次阅读

    数字化时代数据管理:多样化数据库选型指南

    挑战。数据库作为数据管理的核心技术,其选型对于系统至关重要。传统的关系型数据库(RDBMS)以其严格的ACID事务、优秀的致性和安全性在企业应用中占据了长久的统治地位。然而,随着
    的头像 发表于 07-08 19:10 255次阅读
    数字化<b class='flag-5'>时代</b>的<b class='flag-5'>数据</b>管理:多样化<b class='flag-5'>数据库</b>选型指南

    工业互联网数据中台是什么

    工业互联网数据中台是企业数字化转型过程中的核心组件,它主要负责数据的汇聚、清洗、整合、存储、
    的头像 发表于 07-03 16:34 376次阅读

    工业互联网平台中什么是关键

    之间的互联互通,实现数据的实时采集、传输和处理。因此,网络基础设施的建设和优化是工业互联网平台的关键。 数据采集与处理
    的头像 发表于 07-02 09:37 647次阅读

    传感器的工业互联网时代

    来源:传感器技术,谢谢 编辑:感知芯视界 Link 工业互联网 工业互联网的最早概念来自于美国,工业互联
    的头像 发表于 05-23 09:24 311次阅读

    工业互联网和ERP的关系

    工业互联网和ERP有密切的关系。工业互联网是指将各种工业设备、传感器等设备连接到互联网上,通过
    的头像 发表于 05-08 14:06 422次阅读

    时序数据库是什么?时序数据库的特点

    时序数据库种在处理时间序列数据方面具有高效和专门化能力的数据库。它主要用于存储和处理时间序列数据,比如传感器
    的头像 发表于 04-26 16:02 593次阅读

    工业路由器:连接工业互联网的工具

    工业互联网正在逐渐成为工业发展的核心驱动力。工业路由器,作为连接工业互联网的关键工具,无疑在其中
    的头像 发表于 04-22 17:25 339次阅读

    工业互联网平台是什么

    工业互联网平台(Industrial Internet Platform)是面向工业领域的种综合性的云计算和大数据分析平台。它将
    的头像 发表于 03-28 15:38 1499次阅读

    工业互联网实训是什么?工业互联网实训包括哪些?

    工业互联网实训是种针对工业互联网领域的培训课程,旨在帮助学员掌握工业
    的头像 发表于 01-17 17:00 996次阅读

    工业互联网发展进路:反思与建议

    工业互联网发展源自工业面临转型升级的挑战。第,数字化技术的迅速发展冲击了所有工业行业的发展方向与路径。
    的头像 发表于 01-04 16:34 1329次阅读
    <b class='flag-5'>工业</b><b class='flag-5'>互联网</b>发展进路:反思与建议

    mysql怎么新建个数据库

    mysql怎么新建个数据库 如何新建个数据库在MySQL中 创建个数据库是MySQL中的基
    的头像 发表于 12-28 10:01 847次阅读

    什么是JSON数据库

    数据库的显著优势关于JSON数据库的Q&A、什么是JSON?首先,我们得明确“JSON”的含义。开发人员在创建业务逻辑、用户界面、数据库
    的头像 发表于 12-02 08:04 822次阅读
    什么是JSON<b class='flag-5'>数据库</b>

    NoSQL 数据库如何选型

    什么是NoSQL数据库?为什么要使用NoSQL数据库?键值数据库内存键值数据库文档数据库列式数据库
    的头像 发表于 11-26 08:05 439次阅读
    NoSQL <b class='flag-5'>数据库</b>如何选型