0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

简化大型波形数据库分析的新技术

莫联雪 来源:是德科技 作者:Alan Wadsworth 2022-07-27 08:02 次阅读

许多电子设备和系统执行必须在很长一段时间内完美执行的基本功能。例如,电子电网、电信系统和植入式医疗设备无法承受数百万事件中即使发生一次的错误。出于显而易见的原因,捕获和隔离极其罕见的异常的能力是确保这种可靠性水平的关键挑战。监测电压不能有效识别细微的设备或系统问题,因为它通常被有效地控制,以至于难以检测到微小的变化。相比之下,电流波形包含与设备或系统操作相关的更丰富的信息。然而,由于电流波形可以在宽动态范围内快速波动,以高采样率对它们进行采样以捕获它们的全部带宽非常重要。这会生成巨大的数据文件,因为在 24 小时内以 10 兆样本/秒的速度捕获数据会创建大于 1 TB 的数据文件。筛选如此庞大的数据库以定位异常事件显然是一项艰巨的任务。

直到最近,还没有解决方案能够满足刚刚描述的硬件要求。数据记录器可以捕获大量数据,但它们的带宽相对较低,并且很容易遗漏高频信号分量。传统示波器擅长捕捉高带宽信号,但数据存储能力有限。即使是具有大存储深度的高性能示波器也无法在数小时或数天的时间段内以高采样率捕获数据。示波器电流探头也没有足够的动态范围来捕获低电平和高电平电流。最后,这些硬件解决方案都不支持任何有效的方法来分析他们收集的数据并快速识别异常。这成为大数据分析的问题。

处理这类大数据挑战的一种解决方案是机器学习。我们探索的一项初始技术是深度学习神经网络 (DLNN),它在图像和语音识别方面非常成功。不幸的是,DLNN 技术在应用于波形数据库分析时,除了需要强大的计算能力外,还表现得非常好。为了分析大型波形数据库,是德科技研究人员必须开发针对该目的优化的新机器学习技术。这个新的解决方案是在五年内开发出来的,它结合了集群、无监督机器学习和专有的数据库压缩技术。在基于 PC 的台式仪器上运行时,它可以比传统技术快几个数量级地分析 TB 大小的波形数据库。

pYYBAGLeH0eAFMHnAACdJsOqACM995.png

图 1:长时间波形分析软件的系统架构。

图 1 显示了长持续时间波形分析软件的系统架构。它由三个部分组成,我们将依次讨论每一个部分。

采集子系统在采集过程中实时对输入数据进行预分类。实时标记是采集子系统中最重要的模块,因为它对输入的波形段进行预分类。相似的波形段被组合在一起并注册为标签的成员。需要注意的是,预分类不一定是完美的。它只需要包含足够的信息来启用后处理分析。

数据库子系统由标签数据库和无损数据库组成。标签数据库是预先排序的波形片段的简明摘要。它提供了长时间录制的快速概览。无损数据库是完整的长时间波形记录的完整存档。它允许通过时序或波形相似性在海量数据库的任何位置快速查询波形。标签数据库的大小在无损数据库大小的百分之一到五分之一之间。这种配置在数据管理和分析方面具有很大的灵活性。

分析子系统有两种操作模式:快速聚类和细节聚类。快速聚类允许快速浏览整个数据库。典型的计算时间少于一秒。然而,由于快速聚类使用预先排序的标签信息,其准确性受到标签相似度阈值的限制。细节聚类提供了更精确的分析能力,因为它使用了无损的数据库信息。传统的分析软件在许多情况下需要重新扫描无损数据库,这需要花费数小时。使用此解决方案,用户无需重新扫描无损数据库即可享受快速响应的交互式分析。

值得指出的是,这项技术不仅对测试和测量行业来说是新的,对人工智能/机器学习社区也是如此。是德科技在 2019 年 IEEE 大数据会议 (*1) 上发表了一篇关于这一新解决方案的论文。在会议上,研究人员表示他们从未见过这种解决方案的性能和功能。该技术作为可用选项集成到 Keysight CX3300A 动态电流波形分析仪中。它将高完整性电压和电流测量与长时间波形分析相结合。

以下示例显示了以 1 MSa/s 的采样率在四天内监测的商用电源线电压。不同的波形类型按集群分组,其总体显示在集群面板中。您可以选择一个或多个集群并使用箭头键跳转到它们在主播放窗口中出现的位置。尽管数据库包含超过 1800 万个波形段,但数据标记允许在几秒钟内识别异常。例如,下面的屏幕截图显示,在数据记录 2 天 21 小时后,发生了一些明显的过电压。虽然很有趣,但这个案例相当简单,所以让我们看一个更具挑战性的例子。

poYBAGLeH1SADIo9AAFoezvXoL8548.png

图 2:在商用电源线电压上检测到的过压异常。

物联网设备需要长时间运行,任何意外的电流尖峰都可能导致内部 IR 下降并引发系统故障。为了验证设备完整性,我们以 10MSa/s 的采样率测量了蓝牙设备的供电电流 17 小时。这生成了一个 1 TB 的数据库文件。虽然正常峰值电流约为 25 mA,但我们发现非常罕见的电流尖峰高达 50 mA。在记录的超过 700 万个波形片段中,这些仅发生了 17 次。进一步分析表明,在该设备中,有两种类型的异步事件。当这两个事件发生在一个狭窄的时序窗口内时,就会观察到 50 mA 的尖峰,并且每 400,000 次只会发生一次。

poYBAGLeH1-AdByGAACk4-wwUxE951.png

图 3:物联网设备上 5 分钟内识别的超过 700 万个波形段中出现 17 次大尖峰波形。

随着现代设备和系统的复杂性不断增加,用于评估它们的软件工具需要改进以跟上步伐。在任务关键型系统中使用设备的情况下,了解波形在很长一段时间内的行为非常重要。用于捕获数据的软件也需要能够帮助分析数据。本文通过利用是德科技开发的新机器学习技术展示了这一点。可以有效地分析大型波形数据库并快速查明这些数据库中的异常。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4789

    浏览量

    101597
  • 机器学习
    +关注

    关注

    66

    文章

    8460

    浏览量

    133412
  • 大数据
    +关注

    关注

    64

    文章

    8929

    浏览量

    138272
收藏 人收藏

    评论

    相关推荐

    常见的数据库管理

    大型数据库(大型机)Oracle(亿级),中型数据库(分布式超大型)mysql(百万级),轻型数据库
    的头像 发表于 10-10 16:19 2183次阅读

    采集到的波形数据如何保存到数据库SQL中

    采集到的波形数据如何保存到数据库SQL中,急急。。。。。。。。。。。。。。。。。
    发表于 10-04 14:49

    LabVIEW如何实现频谱图波形数据保存

    运用LabVIEW本身自带的波形测量-FFT频谱(幅度-相位)得到频谱图如何实现频谱图波形数据保存并且将其保存至数据库,求助大神
    发表于 02-25 10:06

    请问在labview8.5中怎么将采集到的波形数据实时存入数据库

    请问在labview8.5中怎么将采集到的波形数据实时存入数据库
    发表于 05-23 08:46

    大型无缝影像数据库管理系统的设计与实现

    摘要:分析大型无缝影像数据库数据管理需求和系统设计原则,提出了多比例尺、多数据源、分布式异构的海量影像
    发表于 01-09 11:59 5次下载

    大型数据库实验指导

    大型数据库实验指导  一、实验目的??1、培养学生动手编程解决实际问题的能力。??2、深入理解关系数据库实现的基本原理。??3、锻炼学生撰写科技
    发表于 09-03 22:51 1583次阅读

    Labview之波形数据显示

    Labview之波形数据显示,很好的Labview资料,快来下载学习吧。
    发表于 04-19 11:17 0次下载

    NoSQL数据库类型

    有四大NoSQL类型:键值存储(key-value store),文件存储(document store),列导向的数据库(Column-Oriented Database)和图形数据库(graph
    发表于 10-12 17:24 2次下载
    NoSQL<b class='flag-5'>数据库</b>类型

    数据库教程之如何进行数据库设计

    本文档的主要内容详细介绍的是数据库教程之如何进行数据库设计内容包括了:1 数据库设计概述 ,2 数据库需求分析 ,3
    发表于 10-19 10:41 21次下载
    <b class='flag-5'>数据库</b>教程之如何进行<b class='flag-5'>数据库</b>设计

    形数据库是一种NoSQL数据库

    TigerGraph Cloud的最大特色在于它的速度。该公司声称其服务比诸如Amazon Web Services Inc.的Neptune之类的竞争图形数据库快数百倍,该数据库能够进行扩展以处理数十TB的数据,并且每个
    的头像 发表于 03-24 16:27 3949次阅读

    数据库设计的特点及基本步骤

    数据库设计是涉及多学科的综合技术大型数据库设计和开发是一项庞大工程,是涉及多学科的综合性技术,对于从事
    的头像 发表于 11-15 10:20 1.1w次阅读

    一文带你了解波形数据库文件(WDB)和波配置文件(WCFG)

    Vivado 仿真器 中的实时仿真包含以下内容: 波形数据库文件 (WDB),其中包含所有仿真数据波形配置文件 (WCFG),其中包含与波配置中的对象相关联的顺序和设置。 这两种类型的文件之间有
    的头像 发表于 10-28 16:28 6796次阅读

    Vivado 仿真器 -了解波形数据库文件 (WDB) 和波配置文件 (WCFG)

    波形数据库文件 (WDB),其中包含所有仿真数据
    的头像 发表于 08-01 09:11 4713次阅读

    数据库技术数据库学习笔记

    数据库技术是贯穿信息技术发展的核心技术数据库技术可为大数据
    的头像 发表于 02-14 09:41 934次阅读

    oracle是大型数据库

    Oracle是一种大型数据库管理系统(DBMS),在全球范围内广泛应用于企业级数据管理。它是由美国甲骨文公司(Oracle Corporation)开发的,在数据库市场上具有重要地位。
    的头像 发表于 12-06 10:47 978次阅读