用于远程AI应用的具有边缘智能的微型成像系统

远程边缘 AI 应用程序依赖于嵌入式硬件设备的大小，这些硬件设备具有在源头处理边缘数据的所有计算能力和能力。大型嵌入式 AI 加速器在空间受限的系统中面临多项挑战，例如突兀和隐蔽。

在题为“用于智能边缘监控的毫米级超低功耗成像系统”的文章中，研究人员开发了一种具有深度学习和图像处理能力的微型毫米级成像系统，适用于边缘应用，尤其是家庭监控场景。该系统使用垂直堆叠的超低功耗 IC，并采用动态行为特定的电源管理、分层事件检测和数据压缩方法的组合。

对于毫米级系统，设计方法面临技术挑战，例如设计高度受限的系统、能量预算和峰值功率的限制、有限的数据存储、昂贵的无线通信、毫米级镜头的非理想性以及超低-电源前端。

从毫米级尺寸系统开始，该设计需要集成超低功耗 IC 并对其进行组装以减少占用空间。为了为毫米级系统供电，设计单元需要一个小型电池来支持电源要求。由于空间受限的系统，成像系统将具有有限数量的片上和片外可用存储器，这限制了图像数据的存储和算法的复杂性。

针对这些毫米级成像系统设计中的技术难点，团队借鉴了现有在低功耗图像传感器、超低功耗处理器和混合信号视觉集成电路、低功耗无线通信、高效的神经网络加速器，优化边缘计算应用的机器学习算法。

现有研究的局限性包括排除边缘计算或不满足面积和功率需求。该研究论文提出完全集成的毫米级成像系统是“同类中的第一个”。

图：成像系统横截面

一种具有边缘智能的新型毫米级成像系统

该系统尺寸仅为 6.7×7×5mm，重量仅为 460mg，采用垂直堆叠设计的 150μm 超低功耗集成电路。垂直堆叠的方法允许在更小的占位面积内互连更多的集成电路。这与传统的平面 2D 芯片到芯片连接相比。

该系统由一个基础层组成，将多个功能硬件设备集成到单个 IC 芯片上，例如主控制器、电源管理单元和无线电 IC。毫米级成像系统的核心是带有 16kB SRAM 的 Arm Cortex-M0 处理器内核。电源管理单元从单个电池源生成多个电压域，以在负载下保持高转换效率。

下一个重要层是超低功耗图像传感器和图像信号处理。图像传感器层支持运动触发的 12 位 VGA 图像捕获和对子采样像素帧的近像素运动检测，最大速率为每秒 170 帧，而图像信号处理执行动态 JPEG（解）压缩、光学黑色像素校准、去拜耳、RGB 到 YUV 转换和场景变化检测。神经引擎提供 1.5 TOPs/W 的性能，支持基于深度神经网络的帧分析。另一层包括超低泄漏闪存、能量收集器、太阳能电池、可充电锂电池和聚四氟乙烯 （PTFE） 管。

系统集成采用两块4层10×10×0.8mm PCB，正面用于引线键合，无源元件和太阳能电池层置于背面。此类毫米级系统的代码开发具有挑战性，因此该团队在外缘上包括了城堡形通孔以暴露内部信号。

图：（从左到右）堆叠 IC、被测封装系统、PCB 背面、独立毫米级成像系统

对毫米级成像系统的修改

由于始终在线的图像传感器执行基于 DNN 的分析会产生巨大的功耗，因此电源管理是能量最小化技术的关键要素。该过程需要计算能量和存储在芯片内外的数兆字节 DNN 参数。

动态节能模式（如闪存 IC）在运动监控、图像捕捉和基于 DNN 的场景分析期间设置为睡眠模式，仅消耗 0.003μW。电源管理单元针对每个节点进行调整，通过修改电流消耗、频率控制和上/下转换比来最大化动态负载的效率。另一方面，分层事件检测 （HED） 算法用于删除不相关的事件，否则这些事件会消耗能量，特别是在卸载数据而未确定其对应用程序的价值时。

结合权重剪枝、非均匀量化、卷积层量化权重的霍夫曼编码和其他几种方法，DNN 的压缩率最高可达 1.5 位/权重。对于图像压缩，结合使用 JPEG 和 H.264 压缩方法来减少数据占用空间并最大限度地降低无线传输成本。

H.264 帧内压缩引擎将 VGA 帧的内存占用减少了 23 倍。然而，通过 H.264 压缩，系统需要比 JPEG 多 138% 的处理能量。使用的其他方法是变化检测引擎，以实现与 VGA 帧相比 135 倍的压缩，以及用于减少无线数据传输的系统外图像重建。对于毫米级镜头和超低功耗前端的图像校正，该团队提出了可以使用矩阵乘法和卷积等指令在 ISP 神经引擎 （NE） 上执行的图像校正层。

结论

该论文提出了一种新颖的毫米级成像系统，它集成了用于远程物联网和边缘应用的边缘智能，平均功耗为 49.6μW，预期寿命为 7 天，无需充电。为了实现小尺寸，该系统使用超低功耗 IC 的垂直堆叠，并通过数据和能源管理方法管理内存和能源预算限制。“已经展示了一个微型物联网智能成像系统，通过社会技术和道德视角进行分析是下一步必不可少的；我们邀请未来就安全和隐私等主题开展工作，”该团队总结道。

审核编辑：郭婷