“事件导向”的新型机器视觉技术之实战经验

透过生物启发方式撷取影像中的“事件”(event)听起来不仅酷炫，而且未来感十足。但有多少开发人员真正目睹基于事件的机器视觉技术效果？

大多数的开发人员都听说过或读过这一类的消息，他们可能感到很好奇。但是，他们多半只能在局外观看，而不曾经有过这种所谓“事件导向”(event-driven)的新型机器视觉技术之实战经验。

总部位于法国巴黎的新创公司Prophesee锁定的正是这些在此竞赛中的“旁观者”。该公司日前推出其首款针对视觉系统开发人员的参考系统，协助其用于尝试、测试以及了解神经形态(neuromorphic)视觉如何运作。

Prophesse首席执行官Luca Verre在接受《EE Times》访问时表示，该公司的参考设计最初锁定的用户将是“工业自动化机器和机器人领域的开发人员。此外，在汽车和物联网(IoT)系统的客户也将找到有助于表征[Prophesee]传感器性能的参考系统。”

还有，研发实验室和大学的研究人员也将从中受益。但Verre解释说，真正的关键在于该参考系统将触发围绕着Prophesee事件导向、非影格基础(frame-based)的视觉系统打造一个“生态系统”。“唯有建立了生态系统，才会带来革命。”

Prophesee的Onboard参考系统将包含一个支持VGA分辨率的摄影机，内建Prophesee的ASIC、高通(Qualcomm)的1.5GHz四核心Snapdragon处理器、六轴惯性测量单元(IMU)，并支持一系列的连接器，包括USB 3.0、以太网络、微型HDMI、Wi-Fi (802.11ac)与MIPI CSI-2。

Prophesee声称其功率效率和系统延迟均“低于10毫秒(ms)”。该公司之前曾经说，其传感器支持低于10mW的工作特性。

不同于传统frame-based影像传感器

数十年来，机器视觉系统设计人员依靠的是他们对于传统影像传感器如何撷取视觉信息的知识和经验。传统的传感器被设计为以一种预定的影格速率(frame rate)运作，而无论动态场景如何变化，而每个影格(frame)传送来自所有像素的信息，同时对其进行均匀采样。

所以，提高机器视觉系统的性能一直着重于由新型影像传感器所实现的更高影格速率和更高分辨率。

Prophesee认为现在正是重新思考这种典范的时候了。

相较于传统的frame-based摄影机，在Prophesee开发基于异步时间的影像传感器中，每个像素均以不同速率各自决定对场景的每一部份进行采样。Prophesee首席技术官Christoph Posch曾经对为《EE Times》解释：“透过对光线作出反应或改变接收到的入射光量，每个像素单独控制其采样，而不涉及频率。”

因此，Prophesee的传感器仅选择场景中最有用和最相关的元素，从而有助于降低传统frame-based系统所造成的功耗、延迟和数据处理等需求。

Prophesee的传感器建立在“神经形态”视觉的基础上。人眼和大脑并不会将视觉信息记录在一连串的影格中。Prophesee共同创办人Ryad Benosman解释，“人类撷取感兴趣的东西——空间和时间的变化，并以极高的效率将这些信息传送至大脑。”

由于影像传感器并不受限于影格，因此，Verre解释：“我们的技术不会错过每个影格之间可能发生的重要事件。”

让怀疑论者变成信徒

要求视觉系统工程师放弃神圣的影格概念，转而开始使用事件导向的影像传感器来打造新系统，可说是一项艰巨的任务。Verre在德国斯图加特与博世(Bosch)晤谈后，他在电话访问中告诉我们：“这是许多工程师都难以接受的提议。”

Prophesee参考系统

协助设计工程师克服心理障碍的方法之一是为他们提供一个兼容于现有frame-based摄影机的参考系统，让他们能复制现有结果作为默认选项。同时，Verre解释说，相同的参考系统还可用于展示non-frame-based的影像传感器如何执行，使其比较新型成像数据的优点。

他表示，该公司的Onboard参考系统采用“嵌入了大量工具库的单板计算机，可用于检测、追踪、计数和测量等应用”。

锁定工业自动化和机器人市场

Prophesee在德国国际‘Control’展会上展示其Onboard参考系统。据主办单位表示，该展会专注于质量保证，是“工业4.0计划的驱动力”。

然而，Prophesee要追求典型保守的工业自动化市场并不容易。Verre坦承，这是一个成熟的市场，由机器制造商、系统整合商和机器视觉专家组成，他们已经习惯于为每个机器视觉应用开发一系列昂贵且体积庞大的独立设备。

Prophesee积极追逐工业自动化和机器人市场（来源：Prophesee）

Verre认为，Prophesee有能力改变游戏规则。Verre声称，透过导入基于单板移动平台的机器视觉技术，自动化系统设计人员将能以更低功率和更多弹性，开发出更便宜、更小型的系统。

例如，Prophesee说，这是一种基于事件的方法，“让传感器达到较高速视觉相关应用更高的动态范围。”该公司补充说，它让具有成本效益的传感器和系统记录事件，否则这些事件需要传统摄影机以每秒10,000格或更快的速率执行。

Verre说，设计人员还可以进一步将Prophesee的技术应用于“监测机器的健康状态”。“机器是由移动组件组成。事件导向的摄影机可以检测振动机器的机动组件，并以高频率(超过100Hz)监测任何异常行为。”

他解释说：“传统的机器视觉系统并不容易做到这一点。它们必须始终开启，才能在振动发生之际实时撷取影像，而这将会要求传统系统必须具有大量处理能力和数据储存。”

Prophesee Onboard参考系统的软件堆栈（来源：Prophesee）

相较于传统工业自动化领域习以为常的单点机器视觉系统解决方案，Verre认为，Prophesee的参考系统的优势就在于透过高性能、多功能和低成本解决方案，让整体产业运作更流畅、更简单。

Prophesee目前正与对事件导向解决方案感兴趣的汽车和IoT系统公司合作。华为(Huawei)透露Prophesee正是其合作伙伴，在开发增强现实/虚拟现实(AR/VR)和IoT计划中使用了Prophesee技术。Verre说，Prophesee还与一家大型消费电子公司达成了合作协议，但他并未透露更多有关细节。