- 目前嵌入式视觉领域最热门的话题之一就是机器学习

使用赛灵思提供的 reVISION™ 堆栈，在异构 SoC 中能轻松实现图像处理算法和机器学习网络。基于 SDSoC™ 工具，reVISION 能同时支持传统图像应用和机器学习应用。在 reVISION 内部，同时支持 OpenVX 和 Caffe 框架。为支持 OpenVX 框架，内核图像处理功能可被加速到可编程逻辑中，以创建图像处理流水线。同时机器学习推断环境支持可编程逻辑中的硬件优化库，以实现执行机器学习实现方案的推断引擎。

图4：reVISION 堆栈

reVISION 提供与 Caffe 的集成，这样实现机器学习推断引擎就如同提供 prototxt 文件和经训练的权重一样简单，框架负责处理其余工作。然后使用 prototxt 文件对运行在处理系统上的 C/C++ 调度器进行配置，以加速可编程逻辑中硬件优化库上的神经网络推断。可编程逻辑用于实现推断引擎，内含 Conv、ReLu 和 Pooling 等功能。

图5：Caffe 流程集成

机器学习推断引擎实现方案中使用的数值表示系统也对机器学习性能有重要作用。机器学习应用正越来越多地使用更高效的降精度定点数值系统，例如 INT8 表达式。与传统的浮点 32 (FP32) 方法相比，使用定点降精度数值系统不会造成显著的精度下降。因为与浮点相比，定点数学在实现难度上也明显更低，转而采用 INT8 能在一些实现中提供更高效、更快速的解决方案。使用定点数值系统对在可编程逻辑解决方案中的实现方案而言相当理想，reVISION 在可编程逻辑中能与 INT8 表达式协同工作。这些 INT8 表达式方便在可编程逻辑中使用专门的 DSP 模块。在使用相同的内核权重时，这些 DSP 模块架构能实现最多两个并发 INT8 乘法累加运算供执行。这样不仅能提供高性能实现方案，而且还能够降低功耗。只要采用，可编程逻辑的灵活性也还便于实现进一步降精度定点数值表达系统。

图6：不同权重表达的网络精度。

资料来源： https://arxiv.org/pdf/1510.00149v5.pdf

真实性能
在真实环境中，reVISION 堆栈能带来明显优势。在嵌入式视觉应用中使用机器学习的应用实例之一，如车辆避碰系统。在 reVISION 中针对赛灵思 UltraScale+ MPSoC 并开发相关应用，使用 SDSoC 在可编程逻辑中按需为各项功能加速以达到优化性能，能明显改善响应性。在都用于实现 GoogLeNet 解决方案的条件下，将 reVISION MPSoC 的响应时间与基于 GPU 的方法进行对比，差异相当明显。reVISION 设计能在 2.7ms 内发现潜在的碰撞事件并启动车辆制动（使用的批量规模为 1），而基于 GPU 的方法则需要用时49ms-320ms（具体取决于其实现方案）（对大批量规模）。GPU 架构需要大批量规模才能实现合理的吞吐量，但会以牺牲响应时间为代价，而 Zynq 在批量规模为 1 的情况下也能以极低时延实现高性能。这种反应时间上的差异可以决定碰撞发生与否。

总结
机器学习将继续成为众多应用的重要推动因素，尤其是在视觉导向机器人或所谓的“协作机器人”中。将处理器内核与可编程逻辑结合的异构 SoC, 能创建非常高效、极具响应性且可重配置的解决方案。像reVISION 这样的堆栈的推出，首次将可编程逻辑的好处带给了更广阔的开发者社群，同时还缩短了解决方案的开发时间。