- 基于IoT设备的CNN推理机实现深度学习方案

相比从头开始手动构建模型，我们需要一种更方便的方式来在物联网设备上提供深度学习能力。一个解决方案是实现一个深度学习的模型编译器，可以将给定的模型经过优化，编译为目标平台上的可执行代码。如图4中间的图所示，这种编译器的前端可以从主要的深度学习平台（包括MXNet、Caffe、TensorFlow等）解析模型。然后，优化器可以执行额外的优化，包括模型修剪，量化和异构执行。优化后，由代码生成器生成目标平台上可执行代码，可以是ACL（用于ARM设备），TensorRT（用于Nvidia GPU）或其他ASIC设备。

图4 物联网设备服务架构。我们需要一个新的系统架构来实现物联网设备上的深度学习：首先，我们需要直接编译和优化深度学习模型生成目标设备上的可执行代码; 其次，我们需要一个非常轻量级的操作系统，以实现多任务及其间的高效通信。IMU：惯性测量单元。

NNVM项目（github.com/dmlc/nnvm）是迈向这一目标的第一步。我们已经成功地扩展了NNVM来生成代码，以便我们可以使用ACL来加速ARM设备上的深度学习操作。这种方法的另一个好处是，即使模型变得更加复杂，我们仍然可以轻松地在物联网设备上实现它们。

当前的物联网设备通常由于计算资源的限制而执行单个任务。然而，我们预计很快将有能够执行多个任务的低功耗物联网设备（例如，我们的Zuluko设备就包含了四个内核）。为了使用这些设备，我们需要一个非常轻量级的消息传递协议来连接不同的服务。

如图4所示，物联网设备的基本服务包括传感，感知和决策。传感节点涉及处理来自例如摄像机，惯性测量单元和车轮测距的原始传感器数据。感知节点使用已处理的传感器数据，并对所捕获的信息进行解释，例如对象标签和设备位置。动作节点包含一组规则，用于确定在检测到特定事件时如何响应，例如在检测到所有者的脸部时解锁门，或者当检测到障碍物时调整机器人的运动路径。Nanomsg（nanomsg.org）是一个非常轻量级的消息传递框架，非常适合类似的任务。另一个选择是机器人操作系统，尽管我们发现对于物联网设备来说，其在内存占用和计算资源需求方面显得太重了。

为了有效地将深度学习与物联网设备集成，我们开发了自己的操作系统，包括用于消费级传感器输入的传感器接口，基于NNVM的编译器，将现有的深度学习模型编译并优化为可执行代码，以及基于Nanomsg的消息传输框架来连接所有的节点。

笔者希望本文将激励研究人员和开发人员，在比以往更小的嵌入式设备中设计更加智能的物联网系统。