智能物联网边缘应用需要低功耗处理

我们已经习惯了我们的设备变得更加智能，通过先进的音频和视频处理技术以及复杂的传感器来识别和解释语音和动作。说“Hey Google”或挥手，我们的设备不仅会做出响应，而且经常会提供他们受过训练的偏好。欢迎来到智能物联网边缘设备时代。

这些智能设备已经无处不在，它们的功能令人期待：具有语音控制功能的扬声器，可从大量训练有素的语音命令词汇中进行高度准确的语音识别；可穿戴活动追踪器，可根据陀螺仪、加速度计和磁力计等传感器的输入数据识别人类活动，例如坐、站、走和跑步；配备智能摄像头的门铃，执行面部识别并触发警报，该警报可以通过图像或视频发送到所有者的移动设备；甚至是自动驾驶汽车，应用先进的计算机视觉技术来检测车辆、行人和危险驾驶条件。

这种演变的核心是越来越强大和复杂的机器学习技术，这些技术已被更广泛地采用，以使我们的系统更具上下文感知和响应能力。机器学习技术经过训练可以从一个或多个传感器（例如，麦克风、陀螺仪、相机）捕获的数据中识别某些复杂模式（例如，语音命令、人类活动、面部、行人），这带来了新的水平给我们的生活带来安全和便利。当感应到它被训练识别的模式时，设备可以做出相应的响应。例如，当语音命令“播放音乐”被识别时，智能音箱可以启动播放喜欢的歌曲。

更强大的神经网络和算法的出现使机器学习驱动的设备得以发展，这些设备无需明确编程即可学习。然而，机器学习实现更高的自动化和智能的承诺，特别是在消费设备或其他在边缘运行的应用程序中，受到功耗的限制。

低功耗挑战

现代物联网边缘设备虽然体积小，但必须支持一系列复杂的传感、通信和处理任务。挑战在于，许多物联网边缘设备都是电池供电的，并且功率预算很紧，或者有其他限制功耗的限制，这使得低功耗设计成为一个非常重要的考虑因素。

这需要高能效处理器以及出色的循环效率，以便物联网设备的处理器能够以低频运行。低功耗对于执行始终在线功能的物联网边缘设备尤其重要，例如智能扬声器、智能手机或具有“始终聆听”语音命令功能的家庭娱乐系统。执行面部检测或手势识别的基于摄像头的设备也是如此，这些设备“一直在观察”。我们的健康和健身监测设备必须“始终感应”。

此类设备通常应用智能技术来降低功耗。例如，“一直在听”的设备可能会对麦克风信号进行采样，并使用简单的语音检测技术来检查是否有人在说话。然后，它仅在检测到语音活动时应用计算密集型机器学习推理来识别语音命令。处理器必须限制每种不同状态下的功耗——在这种情况下，是语音检测和语音命令识别。因此，必须利用包括有效睡眠模式和断电模式在内的各种电源管理功能来满足能耗要求。

机器学习：训练与推理

在机器学习中，两个主要功能对我们的智能设备很重要：训练和推理。训练从未经训练的模型开始，例如具有选定图形结构的多层神经网络。在这些神经网络中，每一层都将输入数据转换为输出数据，同时应用一组系数或权重。使用 Caffe 或 TensorFlow 等机器学习框架，使用大型训练数据集训练模型。结果是一个训练有素的模型，例如，一个神经网络，其权重被调整用于将输入数据分类为某些类别，例如上述可穿戴活动跟踪器中的不同类型的人类活动。

Inference 使用经过训练的模型来处理传感器捕获的输入数据，以推断它已被训练识别的复杂模式。例如，它可以检查输入数据是否与神经网络训练过的类别之一相匹配，例如活动跟踪器设备中的“行走”或“坐着”。在推断时，将训练好的模型应用于新数据，并且通常在现场执行推断。这就是低功耗变得尤为重要的地方，也是设计在边缘运行的物联网设备时的重要考虑因素。

根据应用的不同，输入数据速率和推理的模型复杂性在物联网设备中可能会有很大差异。例如，与音频识别功能相比，简单的运动检测功能需要更少的输入数据，而音频识别功能将少于复杂的机器视觉系统。输入数据速率的范围可以从每秒 10 次样本（用于使用少量传感器的人类活动识别）到高达每秒 1 亿次样本（用于使用高分辨率相机以高帧速率捕获图像的高级计算机视觉）。因此，机器学习推理的计算要求可能相差几个数量级。

机器学习：低功耗设计

对于具有中低计算要求的机器学习推理（大部分消费物联网设备），选择合适的处理器是实现机器学习推理实现高效率的关键。具体来说，是否具有用于神经网络处理的正确处理器能力可能是满足低 MHz 要求（因此是低功耗）与否之间的区别。

有关如何在智能物联网设计中实现低功耗操作的更多详细信息，请下载我们的免费低功耗机器学习白皮书，该白皮书描述了在可编程处理器上高效实现机器学习推理。我们还提供了一个可编程处理器和一个相关的软件库，用于有效实施低/中端机器学习推理。

审核编辑：符乾江