电子发烧友网报道(文/吴子鹏)机器视觉起源于20世纪50年代。近几年,随着边缘智能需求爆发,机器视觉发展换挡提速。根据前瞻产业研究院的统计数据,2023年全球机器视觉市场规模约为130亿美元,预计2024-2029年将以20%左右的年复合增长率高速增长,到2029年市场规模达到近400亿美元。
在机器视觉应用快速增长的过程中,传统基于CMOS传感器、CCD传感器或RGBD的相机,在捕捉场景中的运动变化,以及无“事件”发生时的功耗等方面遇到了一定的瓶颈,EVS(基于事件的视觉传感器)成为打造机器视觉应用的新选择。
在2024中国(上海)机器视觉展暨机器视觉技术及工业应用研讨会(VisionChina(上海)2024)上,Prophesee销售总监高喆敏在接受电子发烧友网记者采访时表示,传统相机有一个重要指标是帧率,也就是通过每秒捕捉一些静止帧来表现运动,并不具备动态捕获的能力 ,由于传统相机受限于曝光时间,所以无法捕捉每一帧之间的信息的,这与人眼的工作原理是完全不同的。EVS则是模拟人眼感知光的原理,我们设计了像视网膜感光细胞一样工作的像素,EVS中所有的像素都是独立和异步的,所以它们只会在场景发生变化时做出反应,上报事件即event。这样的工作原理让它兼具:超高速、小数据量、低功耗等优势。
高喆敏强调,在EVS相机中,每个像素只在感觉到运动时才被触发,且每一个像素都是完全独立的。当像素捕捉光的亮度超过阈值后就会被检测为事件,然后输出事件像素的坐标、时间和极性信息。和传统相机相比,EVS相机能够捕获的信息不会逐帧到达,也就不存在帧与帧之间的损失。由于EVS的像素不是同步而是异步的,因此时间域上是非常稠密的,Prophesee已经量产的传感器芯片可以等效每秒10000帧的传统传感器。并且,每个像素只有在被触发时才会记录,数据量是非常小的,并不需要很高的处理器性能和传输带宽,功耗低是EVS天然的优势。
在VisionChina(上海)2024上,Prophesee展示了多款基于EVS相机的demo,包括颗粒检测、振动监测、运动捕捉,以及采用ST MCU和AMD芯片打造的高级应用。
基于EVS的振动监测
Prophesee演示了基于EVS相机的振动监测应用。传感器可以监测马达和电刷的振动,打造一个非接触式的解决方案。然后通过软件界面上的数据,就可以准确获取到电机系统每一个部分的振动情况,当检测到振动数值超出设定数值后,系统就会报警。在演示案例中,Prophesee的方案能够覆盖1Hz到kHz范围的振动范围,提供1个像素的精度。
高喆敏谈到,由于EVS相机在时间域上是非常稠密的,通过跟踪场景中每个像素的时间演变,能够连续远程监控振动频率,具有像素精度。因此,EVS相机在工业设备检测上不会丢失关键信息,这是一个非常大的优势,有助于实现更好的设备维护。
基于EVS的运动检测
Prophesee还演示了基于EVS相机的运动检测应用。通过XYT查看器可视化事件数据,揭露物体在时间和空间上连续变化的信息。如上所述,在这个应用中,EVS相机可以揭示帧与帧之间的不可见内容,并且可以放大时间,了解场景中的细微运动。
针对运动检测应用,高喆敏说,EVS在捕获运动信息时,不会呈现传统相机提供的色彩、纹理和灰度值等信息,只能看到物理运动的边缘信息,这个边缘信息在时间戳上是非常稠密的。之所以能够做到这样连续的边缘信息输出,得益于EVS另一个显著的特征:快,通过快速捕获动态信息的变化,克服了传统相机在拍摄高速运动物体时掉帧的问题。
基于第三方计算芯片打造的高级功能
Prophesee也展示了基于第三方计算芯片打造的高级功能。比如,在基于成本优化的MCU平台上演示数据流、以及端到端延迟事件处理实验。这个demo选择的就是市面上非常常见的ST MCU。
基于ST MCU的demo演示专为嵌入式应用设计,提供320×320 像素采用1/5光学格式,像素延迟@1k lux <150μs,动态范围为>120 dB。这个demo的典型应用场景包括:
·AR/VR/XR和可穿戴设备
·眼动追踪
·手势识别
·IoT和智能家居
·边缘AI算法和机器学习
·Always on cameras
·医疗健康(保护隐私)摄像头
高喆敏表示,在这个demo里Prophesee的EVS传感器提供超低功耗模式,相关应用的能效表现会非常好。在方案设计上,EVS相机不需要传统相机所需的ISP模块,能够进一步降低方案成本。
另一款demo是Prophesee携手AMD推出的业界首款兼容 Kria™ KV260视觉AI入门套件的事件视觉解决方案,专为高级视觉应用开发而构建,无需开发者拥有复杂的硬件设计知识或 FPGA 编程技能。
该套件中包含一款突破性的即插即用主动光通信(Active Markers Tracking)应用程序,支持>1,000Hz的3D位姿估算(3D pose estimation),能够在像素级别上完全消除背景干扰,同时在复杂的照明条件下提供极高的鲁棒性。该款应用程序展现了Prophesee Metavision 事件视觉技术的独特功能,为实现一系列全新的超高速跟踪用例提供了助力,如游戏控制器跟踪、建筑工地安全、重载防摇摆系统等。
产品迭代和资源支持
在产品迭代上,目前Prophesee已经发布第五代EVS传感器。第四代产品的空间分辨率是1280×720,是一个百万像素级的产品。第五代产品的空间分辨率是320×320,是一个十万级像素的产品。两者之间的目标应用有明显的差异。同时,为了进一步体现低功耗的属性,第五代EVS传感器提供超低功耗的模式,可以分区感受环境的变化,打造目前热门的“always on”应用。高喆敏称,在超低功耗模式下,Prophesee第五代EVS传感器的功耗是微瓦级的。
为了帮助开发人员更好地运用EVS相机打造机器视觉应用,Prophesee不仅是提供传感器,也提供配套的开发资源,包括开发板和SDK等。同时,Prophesee也在积极筹建和运营EVS技术社群,让更多开发人员了解和参与到EVS相机的生态建设中。
结语
EVS相机的出现,解决了传统相机每一帧捕获的信息并不存在动态信息,且每一帧之间的信息无法被捕捉的痛点,以模仿人眼的机制构建了一个机器视觉的新范式。EVS相机不仅能够连续捕捉动态信息,且天然具有低功耗的特性,加上非常小的数据量传输,能够显著降低机器视觉的硬件门槛,让更多应用受益于这项先进的技术。
-
机器视觉
+关注
关注
161文章
4255浏览量
119452
发布评论请先 登录
相关推荐
什么是机器视觉opencv?它有哪些优势?
机器视觉的应用实例解析
PROPHESEE携手Ultraleap与雷鸟创新 开发用于AR眼镜的创新技术
Prophesee与AMD携手,加速边缘机器视觉应用
PROPHESEE 携手 AMD,推出业界首款兼容 Kria™ KV260 视觉 AI 入门套件的事件视觉解决方案
![<b class='flag-5'>PROPHESEE</b> 携手 AMD,推出业界首款兼容 Kria™ KV260 <b class='flag-5'>视觉</b> AI 入门套件的事件<b class='flag-5'>视觉</b>解决方案](https://file1.elecfans.com/web2/M00/EB/40/wKgaomZX542AZwD8AAG-UVoPbuA276.jpg)
PROPHESEE Metavision® 智能手机影像去模糊解决方案可投入量产,针对第三代骁龙 8 移动平台全面优化
![<b class='flag-5'>PROPHESEE</b> Metavision® 智能手机影像去模糊解决方案可投入量产,针对第三代骁龙 8 移动平台全面优化](https://file1.elecfans.com/web2/M00/C2/55/wKgaomXdpkGAXVJ-AAhSeJo1HSQ963.png)
Zinn Labs 推出基于 PROPHESEE事件视觉传感器的视线跟踪系统,为 AI 智能镜框和 VR/MR 系统赋能
![Zinn Labs 推出基于 <b class='flag-5'>PROPHESEE</b>事件<b class='flag-5'>视觉</b>传感器的视线跟踪系统,为 AI 智能镜框和 VR/MR 系统赋能](https://file1.elecfans.com/web2/M00/C0/E8/wKgaomXDG52AJKAdAAI7O3jaOG4890.png)
机器视觉软件有哪些 机器视觉软件的优点
Prophesee为AIoT应用重塑 DVS 摄像头
![<b class='flag-5'>Prophesee</b>为AIoT应用重塑 DVS 摄像头](https://file1.elecfans.com/web2/M00/AC/DF/wKgaomVJ9_iAKa2bAACl2wsfa8Y334.png)
Prophesee全球最小基于事件的视觉传感器,瞄准超低功耗边缘智能设备
![<b class='flag-5'>Prophesee</b>全球最小基于事件的<b class='flag-5'>视觉</b>传感器,瞄准超低功耗边缘智能设备](https://file1.elecfans.com/web2/M00/A9/C2/wKgaomU0yZOACe2SAAAQv37xNEc167.gif)
PROPHESEE 发布全新事件视觉传感器,超低功耗、极小尺寸让消费类智能设备更自主、更安全
![<b class='flag-5'>PROPHESEE</b> 发布全新事件<b class='flag-5'>视觉</b>传感器,超低功耗、极小尺寸让消费类智能设备更自主、更安全](https://file1.elecfans.com/web2/M00/A9/80/wKgaomUx8e-AaunqAAwakvPte5g103.jpg)
PROPHESEE 推出事件视觉评估套件 EVK5,搭载与索尼合作开发的传感器 IMX646 HD
![<b class='flag-5'>PROPHESEE</b> 推出事件<b class='flag-5'>视觉</b>评估套件 EVK5,搭载与索尼合作开发的传感器 IMX646 HD](https://file1.elecfans.com/web2/M00/A6/04/wKgaomURJcSANucpAAG5MTNDAD4905.jpg)
评论