飞行时间系统对于机器视觉应用传统3D成像解决方案的优势

作者：Paul O'Sullivan and Nicolas Le Dortz

这是我们飞行时间（ToF）系列的第一篇文章，将概述连续波（CW）CMOS ToF相机系统技术及其相对于机器视觉应用传统3D成像解决方案的优势。后续文章将深入探讨本文介绍的一些系统级组件，包括照明子系统、光学器件、电源管理和深度处理。

介绍

许多机器视觉应用现在需要高分辨率的3D深度图像来取代或增强标准2D成像。这些解决方案依靠3D相机提供可靠的深度信息来保证安全，特别是当机器在人类附近操作时。相机还需要在具有挑战性的环境中运行时提供可靠的深度信息，例如在具有高反射表面的大空间中以及存在其他移动物体的情况下。迄今为止，许多产品都使用低分辨率测距仪类型的解决方案来提供深度信息以增强2D成像。但是，这种方法有很多局限性。对于受益于更高分辨率3D深度信息的应用，CW CMOS ToF相机提供市场上性能最高的解决方案。表 1 更详细地描述了高分辨率 CW ToF 传感器技术支持的一些系统功能。这些系统功能还适用于视频散景、面部认证和测量应用等消费者用例，以及驾驶员警觉性监控和自动车内配置等汽车用例。

系统特点	推动因素
深度精度和准确度	调制频率 调制方案和深度处理
动态范围	读出噪声 原始帧速率
易于使用	校准程序 温度补偿 人眼安全监测
室外操作	940 nm 处的灵敏度 照明功率和效率
2D/3D 融合	像素大小 深度和 2D 红外图像
多系统操作	干扰光的像素内消除 相机同步

连续波CMOS飞行时间相机概述

深度相机是每个像素输出相机与场景之间距离的相机。测量深度的一种技术是计算光线从相机上的光源传播到反射表面并返回相机所需的时间。此旅行时间通常称为飞行时间 （ToF）。

图1.飞行传感器技术的连续波时间概述。

ToF相机由几个元件组成（见图1），包括：

在近红外域中发光的光源，例如垂直腔面发射激光器 （VCSEL） 或边缘发射半导体激光管。最常用的波长是 850 nm 和 940 nm。光源通常是漫射光源（泛光照明），它发出具有一定发散度（也称为照明场或FOI）的光束，以照亮相机前的场景。

调制光源发出的光强度的激光驱动器。

具有像素阵列的传感器，用于收集场景中的返回光并输出每个像素的值。

将回光聚焦在传感器阵列上的透镜。

与镜头位于同一位置的带通滤光片，可过滤掉光源波长周围窄带宽之外的光。

一种将传感器的输出原始帧转换为深度图像或点云的处理算法。

可以使用多种方法来调制ToF相机中的光线。一种简单的方法是使用连续波调制，例如，占空比为50%的方波调制。实际上，激光波形很少是完美的方波，可能看起来更接近正弦波。对于给定的光功率，方形激光波形会产生更好的信噪比，但由于存在高频谐波，也会引入深度非线性误差。

CW ToF相机测量时差td通过估计相位偏移φ = 2πft 在发射信号和返回信号之间d在这两个信号的基本面之间。深度可以从相位偏移（φ）和光速（c）估算，使用：

其中 f国防部是调制频率。

传感器中的时钟发生电路控制互补像素时钟，这些像素时钟分别控制两个电荷存储元件（抽头A和抽头B）中光电荷的积累，以及激光驱动器的激光调制信号。返回调制光的相位可以相对于像素时钟的相位进行测量（见图1的右侧）。像素中抽头A和抽头B之间的差分电荷与返回调制光的强度以及返回调制光相对于像素时钟的相位成正比。

利用零差检测原理，使用像素时钟和激光调制信号之间的多个相对相位进行测量。将这些测量值结合起来，以确定返回调制光信号中基波的相位。了解此阶段可以计算光从光源传播到被观察对象并返回传感器像素所需的时间。

高调制频率的优势

在实践中，存在光子散粒噪声、读出电路噪声和多路径干扰等非理想性，这些都可能导致相位测量误差。具有高调制频率可降低这些误差对深度估计的影响。

通过举一个简单的例子，这很容易理解，其中有一个阶段错误εφ—也就是说，传感器测量的相位为

。深度误差为：

因此，深度误差与调制频率成反比，f国防部.图 2 以图形方式对此进行了说明。

这个简单的公式在很大程度上解释了为什么具有高调制频率的ToF相机比具有较低调制频率的ToF相机具有更低的深度噪声和更小的深度误差。

图2.相位误差对距离估计的影响。

使用高调制频率的一个缺点是相位绕得更快，这意味着可以明确测量的范围更短。绕过此限制的常用方法是使用以不同速率环绕的多个调制频率。最低调制频率提供大范围，没有歧义，但深度误差较大（噪声、多路径干扰等），而较高的调制频率串联使用以减少深度误差。图3显示了具有三种不同调制频率的该方案的示例。最终深度估计值是通过对不同调制频率的未包装相位估计值进行加权来计算的，较高的权重分配给较高的调制频率。

图3.多频相位展开。

如果以最佳方式选择每个频率的权重，则深度噪声与系统中所选调制频率的均方根（rms）成反比。对于恒定的深度噪声预算，增加调制频率可以减少积分时间或照明功率。

对性能至关重要的其他系统方面

在开发高性能ToF相机时，需要考虑许多系统功能，本文将简要介绍其中的一些功能。

图像传感器

图像传感器是ToF相机的关键组件。当系统的平均调制频率增加时，大多数深度估计非理想（例如，偏置、深度噪声和多径伪影）的影响会降低。因此，传感器在高调制频率（数百MHz）下具有高解调对比度（分离抽头A和抽头B之间的光电子的能力）非常重要。传感器还需要在近红外波长（例如850nm和940nm）中具有高量子效率（QE），以便在像素中产生光电子所需的光功率更少。最后，低读出噪声允许检测低回波信号（远反射率或低反射率物体），有助于提高相机的动态范围。

照明

激光驱动器以高调制频率调制光源（例如VCSEL）。为了在给定光功率下最大化像素处的有用信号量，光波形需要具有快速的上升和下降时间，并具有干净的边缘。照明子系统中激光器、激光驱动器和PCB布局的组合对于实现这一目标至关重要。还需要进行一些表征，以找到最佳的光功率和占空比设置，以最大化调制波形傅里叶变换中基波的幅度。最后，光功率还需要以安全的方式提供，并在激光驱动器和系统级别内置一些安全机制，以确保始终遵守1类眼睛安全限制。

光学

光学器件在ToF相机中起着关键作用。ToF相机具有某些独特的特性，这些特性推动了特殊的光学要求。首先，光源的照明场应与透镜的视场相匹配，以获得最佳效率。同样重要的是，镜头本身应该具有高光圈（低f / #），以获得更好的光收集效率。大光圈可能会导致在渐晕、浅景深和镜头设计复杂性方面的其他权衡。低主光线角透镜设计还有助于降低带通滤光片带宽，从而改善环境光抑制，从而提高户外性能。光学子系统还应针对所需的工作波长（例如，减反射涂层、带通滤光片设计、透镜设计）进行优化，以最大限度地提高吞吐量效率并最大限度地减少杂散光。还有许多机械要求，以确保光学对准在最终应用所需的公差范围内。

电源管理

电源管理在高性能3D ToF相机模块设计中也至关重要。激光调制和像素调制会产生短脉冲的高峰值电流，这给电源管理解决方案带来了一些限制。传感器集成电路（IC）级别的一些特性可以帮助降低成像仪的峰值功耗。还有一些电源管理技术可以应用于系统级别，以帮助降低对电源（例如，电池或USB）的要求。ToF成像器的主要模拟电源通常需要具有良好瞬态响应和低噪声的稳压器。

图4.光学系统架构。

深度处理算法

最后，系统级设计的另一大部分是深度处理算法。ToF图像传感器输出原始像素数据，需要从中提取相位信息。此操作需要不同的步骤，包括噪声滤波和相位展开。相位展开块的输出是光从激光到场景并返回像素的距离的测量值，通常称为距离或径向距离。

径向距离通常转换为点云信息，点云信息通过其实际坐标（X，Y，Z）表示特定像素的信息。通常，最终应用程序仅使用 Z 图像映射（深度图）而不是完整的点云。将径向距离转换为点云需要了解镜头固有和畸变参数。这些参数是在相机模块的几何校准期间估计的。深度处理算法还可以输出其他信息，例如主动亮度图像（返回激光信号的幅度）、被动 2D IR 图像和置信水平，这些信息都可以用于最终应用。深度处理可以在相机模块本身或系统其他位置的主机处理器上完成。

表 2 概述了本文介绍的不同系统级组件。这些主题将在以后的文章中更详细地介绍。

系统级组件	主要特点
ToF 成像仪	分辨率、高解调对比度、高量子效率、高调制频率、低读出噪声
照明光源	高光功率、高调制频率、人眼安全功能
光学	光收集效率高，杂散光最小，带宽窄
电源管理	低噪声、良好的瞬态响应、高效率、提供高峰值功率
深度处理	低功耗，支持不同类型的输出深度信息

结论

飞行相机的连续波时间是一种强大的解决方案，可为需要高质量3D信息的应用提供高精度。要确保实现最佳性能级别，需要考虑许多因素。调制频率、解调对比度、量子效率和读出噪声等因素决定了图像传感器级别的性能。其他因素包括系统级考虑因素，包括照明子系统、光学设计、电源管理和深度处理算法。所有这些系统级组件对于实现最高精度的3D ToF相机系统至关重要。这些系统级主题将在后续文章中更详细地介绍。

审核编辑：郭婷