具有边缘智能的微型成像系统适用于远程AI应用

远程边缘 AI 应用程序取决于嵌入式硬件设备的大小，这些设备承载着在源头处理边缘数据的所有计算能力和能力。大型嵌入式AI加速器在空间受限的系统中面临着一些挑战，例如突兀和隐蔽。

在题为“用于智能边缘监控的毫米级超低功耗成像系统”的文章中，研究人员开发了一种具有深度学习和图像处理功能的微型毫米级成像系统，用于边缘应用，特别是家庭监控场景。该系统使用垂直堆叠的超低功耗IC，并采用动态行为特定电源管理、分层事件检测和数据压缩方法的组合。

对于毫米级系统，该设计方法面临着技术挑战，例如设计面积高度受限的系统、能源预算和峰值功率的限制、有限的数据存储、昂贵的无线通信、毫米级镜头的非理想性以及超低功耗前端。

从毫米级尺寸系统开始，该设计需要集成超低功耗IC并组装它们以减小占位面积。为了给毫米级系统供电，设计单元需要一个小型电池来支持电源要求。由于空间受限的系统，成像系统可用的片上和片外存储器数量有限，这限制了图像数据的存储和算法的复杂性。

为了解决设计毫米级成像系统时的这些技术难题，该团队参考了在低功耗图像传感器、超低功耗处理器和混合信号视觉集成电路、低功耗无线通信、高效神经网络加速器以及针对边缘计算应用优化机器学习算法方面所做的现有工作。

现有研究的局限性包括排除边缘计算或无法满足面积和电力需求。该研究论文提出，完全集成的毫米级成像系统是“同类产品中的第一个”。

图：成像仪系统横截面

具有边缘智能的新型毫米级成像系统

该系统的尺寸仅为6.7×7×5mm，重量为460mg，使用设计为垂直堆叠的150μm超低功耗集成电路。垂直堆叠的方法允许在更小的占地面积内互连更多的集成电路。这是与传统的平面2D芯片到芯片连接相比。

该系统由一个基础层组成，该基础层将多个功能硬件器件集成到单个IC芯片上，例如主控制器、电源管理单元和无线电IC。毫米级成像系统的核心是具有 16kB SRAM 的 Arm Cortex-M0 处理器内核。电源管理单元从单个电池源产生多个电压域，以在负载下保持高转换效率。

下一个重要层是超低功耗图像传感器和图像信号处理。图像传感器层支持运动触发的 12 位 VGA 图像捕获和子采样像素帧上的近像素运动检测，最大速率为每秒 170 帧，而图像信号处理可执行动态 JPEG（去）压缩、光学-黑色像素校准、去拜耳、RGB 到 YUV 转换和场景变化检测。神经引擎提供 1.5 TOP/W 性能，支持基于深度神经网络的帧分析。另一层包括超低泄漏闪存，能量收集器，太阳能电池，可充电锂电池和聚四氟乙烯（PTFE）管。

系统集成使用了两个4层10×10×0.8mmPCB，其正面用于引线键合，而无源元件和太阳能电池层则放置在背面。这种毫米级系统的代码开发具有挑战性，因此该团队在外缘包括阶梯状过孔以暴露内部信号。

图：（从左到右）堆叠 IC、被测封装系统、PCB 背面、独立的毫米级成像系统

对毫米级成像系统的修改

电源管理是能量最小化技术的关键要素，因为始终在线的图像传感器执行基于DNN的分析会产生巨大的功耗。该过程需要计算能量和存储在片内外的兆字节DNN参数。

在运动监控、图像捕获和基于DNN的场景分析期间，动态节能模式（如闪存IC）设置为休眠模式，仅消耗0.003μW。电源管理单元针对每个节点进行调整，通过修改电流消耗、频率控制和上/下转换比，最大限度地提高动态负载的效率。另一方面，分层事件检测（HED）算法用于修剪掉不相关的事件，否则这些事件会消耗能量，特别是在卸载数据而不确定其对应用程序的价值时。

结合权重修剪、非均匀量化、用于卷积层的量化权重的霍夫曼编码以及其他几种方法，DNN 可实现高达 1.5bit/weight 的压缩。对于图像压缩，使用JPEG和H.264压缩方法的组合来减少数据占用并最大限度地降低无线传输成本。

H.264 帧内压缩引擎可将 VGA 帧的内存占用量减少 23 倍。但是，通过 H.264 压缩，系统需要比 JPEG 多 138% 的处理能量。使用的其他方法是变化检测引擎，与VGA帧相比，可实现135倍的压缩，以及用于减少无线数据传输的系统外图像重建。对于毫米级镜头和超低功耗前端的图像校正，该团队提出了图像校正层，可以使用矩阵乘法和卷积等指令在ISP神经引擎（NE）上执行。

结论

该论文提出了一种新型毫米级成像系统，该系统集成了远程物联网和边缘应用的边缘智能，平均功耗为49.6μW，预期寿命为7天，无需充电。为了实现小尺寸，系统使用超低功耗IC的垂直堆叠，并通过数据和能量管理方法管理存储器和能量预算限制。“在展示了一个微型物联网智能成像系统之后，通过社会技术和道德视角进行分析是必不可少的下一步;我们邀请未来在安全和隐私等主题上开展工作，“该团队总结道。

审核编辑：郭婷