面向边缘设备的微功耗智能

世界正在朝着交互设备的智能和分布式计算模型发展。这些设备中的智能将由机器学习算法驱动。然而，将机器学习扩展到边缘并非没有挑战。本文将讨论这些挑战的前景，然后描述神经形态 - 大脑启发 - 计算将如何实现广泛的智能应用来应对这些挑战。提供了该技术的示例，包括手写识别和连续语音识别。

世界正在朝着智能和分布式计算模式发展，其中数百万智能设备将直接与他们的世界以及彼此进行交互和通信，以实现更快，响应更快，更智能的未来。这个世界将使一种新型的边缘设备和系统成为可能，从可穿戴设备、智能灯泡、智能锁到智能汽车和建筑，对任何中央协调或处理实体（如云）的需求最小。这个智能世界的核心是机器学习算法，这些算法在处理器上运行，这些处理器直接对这些设备收集的数据进行操作，以学习进行智能推理，并在动态变化的环境中实时有效地对其世界采取行动。

图 1.具有学习、推理和快速交互能力的智能边缘模型将使未来的智能设备成为可能。

在边缘设备中启用智能的模型基于在边缘设备与环境和其他设备交互期间感知-学习-推断-行动的能力（图 1）。我们相信，使这些智能边缘设备既敏捷（即快速响应）又高效（即从电源角度来看）的解决方案将主导这个动态变化和分布式的网络传感器和对象世界。但是，与任何新技术一样，在边缘提供低功耗智能时需要解决一些挑战。我们回顾了一些关键挑战，并讨论了Eta计算如何努力解决这些问题。

图 2.DIAL技术可实现电压调节，从而以无缝方式解决功耗和性能限制应用。

一个关键的挑战是能够在这些边缘设备上使用非常有限的电源资源智能地处理数据。埃塔计算一直在开发一种名为DIAL的基础技术。断续器（即，延迟不敏感的异步逻辑）将传统微处理器和数字信号处理器的操作从同步模式转换为异步模式（即，没有任何时钟）。与传统逻辑不同（参见图 2），其基本原理是以事件驱动的方式运行处理器，在不通过握手协议使用时，可以按需唤醒以进行处理并进入睡眠状态。此外，该处理器可以自动控制为以任务要求的最低频率运行，并在该频率下能够将工作电压缩放到尽可能小的值以运行任务。DIAL的一项重要创新是，电路设计中没有面积损失，同时还提供了一种可正式验证的方法来验证电路功能是否正确。这些重要特性使 Eta Compute 能够以业界最低的功率水平提供微处理器技术，并在工作频率下提供约 10 μW/MHz 的扩展。执行电压调节还可以实现高能效（即低功耗）和性能高效（即高吞吐量）计算任务之间的无缝转换。

另一个重要的挑战是能够支持ML模型，这些模型可以直接在内存资源非常有限的设备上学习。此功能为许多应用程序提供了所需的隐私和安全性，同时还确保了与其环境的敏捷交互。今天解决这个问题的方法是使用深度学习模型和谷歌的TensorFlow等工具在云中训练ML模型，然后将这些训练的模型转换为在边缘运行的推理模型。

图 3.SNN 模型中的核心思想。（a）从信息理论和能源效率的角度来看，基于事件的稀疏和离散的信号表示非常有效（b）兴奋性（绿色）和抑制性（红色）神经元之间的循环结构约束和平衡的峰值活动。

我们正在探索一种基于大脑计算或神经形态计算原理的新方法［1］，既能够直接从数据流中学习，又可以通过有限数量的训练示例和有限的记忆要求来存储所学知识。这里的基本思想是明确地表示数据/信号（图3），方法是以动作电位或尖峰的形式合并时间，然后将芯片操作的异步模式（如上所述）与使用尖峰学习的异步模式相结合。峰值神经网络 （SNN） 计算提供了非常稀疏的数据表示，并且使用 DIAL 实现起来非常节能，因为计算仅在出现峰值事件时才发生。此外，学习仅使用具有稀疏连接的本地学习规则来启用，因此不像传统的ML模型那样参数密集，从而节省了存储所需的内存和训练模型所需的时间［2］。SNN的最后一个但同样重要的方面是利用结构约束（图3）对事件序列的存储器进行编码，以便快速学习，而无需在训练期间进行多个数据演示。将模型的这些方面与由DIAL提供支持的处理器相结合，可以产生一个可以互换学习和推理的边缘设备，从而实现敏捷的感知 - 学习 - 推断 - 行为模型。

Eta Compute正在使用这项技术开发用于模式识别的实际应用程序，我们将讨论两个这样的例子。首先是使用语音命令数据集 ［3］ 中的数据连续识别语音数字。此数据集由来自 2，300 个不同扬声器的个位数音频片段组成，总共 60000 个话语。我们的 SNN 使用每个训练样本的单次通过进行训练，同时在测试集上实现了 95.2% 的准确率，可与其他 ML 模型相媲美。从模型效率的角度来看，我们的 SNN 模型的效率提高了几个数量级（通过所需的训练样本数量和要学习的网络参数数量来衡量），同时执行的准确性相当。

SNN还能够泛化以在连续模式下稳健地识别数字，这是由于固有的短期记忆，可以可靠地检测10位数话语的开头，即使由于其他数字而重叠的频谱图也是如此。此模型已移植到我们的异步 Eta 核心芯片上。音频从麦克风捕获，并使用片上低功耗ADC进行数字化，数字化信号被转换为频谱图，然后使用DSP编码为尖峰。ARM M3 执行 SNN 计算（图 4（a））。该型号的总内存为36 KB。从数据到决策（即包括I/O、DSP和M3）的总功耗为2 mW，推理速率为6-8字/秒。

同样的原理应用于基于MNIST基准测试［4］的训练数据的手写数字识别问题。二进制图像由 DSP 直接转换为尖峰，同时在 M3 上执行 SNN 学习（图 4（b））。该芯片在MNIST测试设备上实现了98.3%的精度，需要64 KB的内存。该解决方案需要 1 mW 的功率从数据到决策，吞吐量为 8 张图像/秒。

图 4.我们的连续语音数字和手写数字识别芯片实现具有很高的功率和内存效率，同时在准确性方面可与传统ML模型相媲美。（a） 连续语音数字识别 （b） 手写数字识别。

这些结果表明，正如 Gartner 集团所预测的那样，实现智能、敏捷和高效的边缘设备的潜力将推动快速扩张的物联网市场，到 2020 年将有超过 250 亿台设备投入使用［5］。例如，其他基础设施的共同开发，如设备互操作性标准和5G无线技术，可以使新的健身追踪器能够可靠地检测用户状态，例如入睡，然后自动关灯。未来似乎正在向由智能和高效边缘设备提供支持的智能和分布式计算模型迈进，Eta Compute正在开发新技术，以在其中发挥关键作用。

审核编辑：郭婷