具有深度学习能力的传感器融合

具有深度学习能力的传感器融合

【导读】传感器被越来越多地应用于我们的日常生活中，以帮助收集各种应用中有意义的数据，例如建筑暖通空调系统、工业自动化、医疗保健、门禁控制和安全系统等。传感器融合网络有助于从多个传感器获取数据，以提供设备周围环境更全面的感知。换句话说，传感器融合结合多个物理传感器的数据，即使单独的传感器本身不可靠，融合后的结果会更加准确，有助于减少感知过程中的不确定性。

为了进一步提高智能化和可靠性，使用深度学习进行传感器融合，在工业和消费领域正变得越来越重要。

从数据科学的角度来看，这种模式通过采用智能监测和传感器融合策略，以及运用优化的机器学习，从传感器数据中中获取相关知识。主要目标之一是有效预测工业运行环境中的异常行为，以避免重大事故带来的损害。

瑞萨电子提供智能端点传感设备和集成了丰富模拟外设的微控制器。这些微控制器作为传感设备的核心，为不同应用提供更精确的传感器融合方案。常用的方式是：

冗余传感器：提供相同的信息类型。

互补传感器：提供独立（不相干）的信息类型。

协同传感器：顺序收集外部的信息。

传感器网络中的通信是整个方案的核心，有以下几种选择：

分散式：传感器节点之间没有通信。

集中式：所有传感器把测量值提供给中央节点。

分布式：节点之间按照一定的频率交换信息（例如，每采集五次就交换一次数据）。

集中式方案也可以被看作是分布式方案的一个特例。传感器的每一次采集都会发送给融合节点，如下图示。

深度学习

一个有效的传感器融合方案，先决条件是精确校准和同步传感器。瑞萨提供了一系列解决方案，使用集中式方案，在端点设备上运行先进的传感器融合算法，实现决策推断。

晚期融合可以实现互操作，而早期融合可以为人工智能提供丰富的数据做预测。我们借用不同策略的长处。现代方法通常会对设备上的传感器，在时间和空间上做融合，然后将融合后的数据输入神经网络执行预测。这些数据用于AI训练或实时算法的软件闭环（SIL）测试。由于前期的数据融合，在此阶段这些算法只需要接收有限的信息量。

深度学习使用神经网络来实现先进的机器学习，可以利用高性能计算平台，如瑞萨的RA MCU和RZ MPU来做训练和执行。深度神经网络由若干处理层组成，这些处理层从传感器融合中学习，对数据进行不同程度的抽象化。深度神经网络的层数越多，学到的表征就越抽象。

深度学习提供了一种表征学习的形式，通过使用简单的表征来表示数据。深度学习技术可以使用几个层的组合来理解特征，每个层都有独特的数学转换，以产生抽象的表征，更好地区分数据中的高级特征，以加强对真实形式的分离和理解。

多流神经网络的优势在于从多模态数据中生成有效的预测，其中每个流对网络产生整体联合推断都很重要。多流方法已在多模态数据融合方面取得成功，深度神经网络已被成功应用于多个应用中，如机器翻译和时序数据融合。

允许深度神经网络在基于MCU的端点应用上进行训练和部署，是一个巨大的突破，有助于加快行业应用。瑞萨的RA MCU平台和相关的灵活软件包与人工智能建模工具相结合，提供了多层结构化神经网络应用能力。通常，更多的层能让网络学到更多的抽象特征。在异质混合中堆叠多种类型的层，可以胜过同质混合的层。瑞萨的传感解决方案可以通过多个传感器的反馈来弥补系统在处理相关类型的信息时单个传感器的不足。

灵活的瑞萨高级（RA）微控制器（MCU）是业界领先的32位MCU，是构建智能传感器的绝佳选择。由于RA系列的MCU种类繁多，您可以根据您的应用需求选择最佳产品。RA MCU平台与强大的支持和软件生态系统相结合，将有助于加快传感器融合和深度学习模块的工业4.0应用开发。

作为瑞萨广泛的解决方案和设计支持的一部分，瑞萨为多功能人工智能物联网（AIoT）传感器解决方案提供了参考设计。它针对工业预测维护、支持手势识别的智能家居/物联网设备、可穿戴设备（主动跟踪）以及创新性的人机界面或（HMI）（手指感知）等移动应用提供了解决方案。作为该解决方案的一部分，瑞萨可以提供丰富的硬件，包括物联网专用RA微控制器、空气质量传感器、光传感器、温度和湿度传感器、6轴加速度传感器以及蜂窝、蓝牙通信芯片等。

随着工业4.0系统中传感器数量的不断增加，对传感器融合的需求也在不断增长，以理解这些传感器产生的海量数据。市面上也出现越来越多集成传感器融合的设备。例如，融合了振动、声音、温度和磁场传感器数据的智能状态监测盒可用于机器状态监测。还可以选配用于监测加速度、角速度、冲击和振动的其他传感器配件。

该系统通过人工智能算法实现传感器融合，以更好地对异常运行状况进行分类，从而产生更准确的推断决策。这种边缘人工智能架构简化了对传感器融合所产生的大数据的处理，确保只有最相关的数据被发送到边缘人工智能处理器或云端，以便进一步分析并可能用于训练ML算法。

使用基于AI的深度学习有几个好处

● AI算法可以采用传感器融合，利用多个传感器的数据来弥补单个传感器数据的不足。

● AI算法可以先根据传感器数据的相关性对传感器分类，再把数据送给与之对应的任务。

● 通过在边缘设备或云上的持续训练，AI/ML算法可以让设备通过不断学习来识别以前未识别的系统行为变化。

● AI算法可以预测可能的故障源，实现预测性维护，提高生产效率。

传感器融合与人工智能深度学习相结合，可以发挥传感器数据的最大作用。基于AI/ML的增强型传感器融合可用于系统的多个层级，包括数据层、融合层和决策层。传感器融合的基本功能包括实现数据的平滑和过滤以及预测传感器和系统状态。

瑞萨电子邀请您使用我们的高性能MCU和A&P产品组合。结合完整的软件平台，它能为您提供有针对性的深度学习模型和工具，用以构建下一代传感器融合解决方案。

来源：瑞萨电子，作者：Suad Jusuf

审核编辑：汤梓红