3D ToF相机传感器在无人机上的10大出色应用

无人机或地面系统上的闪光激光雷达（也称为ToF相机传感器）具有许多强大的用途，包括物体扫描、测量距离、室内导航、避障、手势识别、跟踪物体、测量体积、反应式高度计、3D摄影、增强现实游戏等。

什么是ToF相机传感器？

飞行时间（ToF）是一种高精度的距离测绘和3D成像技术，其根据信号的发射与被物体反射后返回传感器之间的时间差来测量传感器与物体之间的距离——飞行时间3D深度传感器发射一个很短的红外光脉冲，然后相机传感器的每个像素测量返回时间。

测距成像ToF相机是一种非常先进的激光雷达系统，它用一个光脉冲或闪光来代替标准的逐点激光束，以实现完全的空间感知。该相机可以感知光线从任何周围物体返回所需的时间，将其与视频数据相结合，并创建实时3D图像。还可用于跟踪面部或手部动作，绘制房间地图，从图像中移除背景，甚至在图像中叠加3D对象。

ToF传感器技术的优势

作为一种新兴技术，ToF或3DFlashLIDAR与传统的点（单像素）扫描仪相机和立体相机相比具有许多优势，包括：

简单

与立体视觉或三角测量系统相比，整个系统非常紧凑：照明仅放置在镜头旁边，而其他系统则需要一定的最小基线。

与激光扫描系统相比，不需要机械运动部件。

飞行时间相机的一大优势是能够以一张镜头合成场景的3D图像。其他3D视觉系统需要更多图像和运动。

高效

从ToF传感器的输出信号中提取距离信息是直接的过程。结果，该任务仅使用少量的处理能力，而对于立体视觉，实现了复杂的相关算法，需要更多的能量和更多的处理能力。

提取距离数据后，物体检测也是一个简单的过程，因为算法不会受到物体图案的干扰。

速度

飞行时间3D摄像机可以单次测量整个场景中的距离。由于摄像头每秒可达到160帧，因此非常适合在实时应用中使用。

价钱

与其他3D深度范围扫描技术（例如结构化光相机/投影仪系统或激光测距仪）相比，ToF技术非常便宜。

ToF是被称为范围成像的少数技术之一。用于产生范围图像的传感器设备有时被称为范围相机。其他的测距技术有立体三角测量、光片三角测量、结构光、干涉测量和编码光圈。

ToF相机传感器技术与其他技术相比具有巨大的优势，因为它能够在一次拍摄中测量完整场景内的距离。且ToFFlash激光雷达无需扫描仪，这意味着整个场景是通过单个光脉冲（闪光）捕获的，而不是通过旋转的激光束逐点捕获。ToF相机使用专用的图像传感器可在三个维度上捕获整个场景，因此无需移动部件。

3DToF相机传感器在无人机上的10大出色应用

①、无人机ToF传感器用于室内导航

对于无人驾驶飞机甚至机器人，要在室内成功安全地导航，都会带来许多技术挑战。在机器人制图中，同时定位和制图（SLAM）是在构造或更新未知环境的地图并同时跟踪代理在其中的位置时所遇到的计算问题。

简单来说，SLAM关心的问题是，移动机器人在构建未知环境的地图的同时使用地图导航环境。

使用飞行时间深度感应摄像头的无人机ParrotARDrone通过其摄像头在没有GPS的情况下实现室内飞行。其所使用的基本机制是在车辆下方的地面上拍摄两张照片。然后将第二张照片与第一张照片进行比较，并计算出偏移量。此偏移量指示车辆在两张照片之间移动了多少。

该技术与向下指向的飞行时间3D深度传感器相结合，为室内水平和垂直空间定位提供了一种非常准确且低成本的机制。

②、无人机ToF传感器用于3D形状扫描

无人机目前已用于创建建筑物和纪念碑的精确3D模型。2015年，一架无人机在巴西成功创建了基督救世主雕像的3D图像。在此之前，任何地方都没有这个雕像的准确模型。使用3D摄影测量基督救世主雕像，这意味着无人机必须在雕像周围飞来飞去，拍摄数千张图片，然后使用3D制图软件将它们缝合在一起。

其他3D形状扫描技术使用专用且复杂的传感器，例如结构化的摄像头/投影仪系统或激光测距仪。即使这些产生高质量的数据，它们也很昂贵并且经常需要专家知识来进行操作。

哈佛大学提出了一种使用ToF相机的极具成本效益的3D形状扫描解决方案。现在，该解决方案是基于地面的。但是，当安装在无人机上时，此解决方案也将起作用。

随着在这一领域的更多创新和投资，我们很可能会看到ToF相机成为扫描大型物体和纪念碑的经济有效的解决方案。

③、无人机ToF传感器用于农业

在农业领域，装有多光谱传感器的无人机可以让农民更有效地管理作物和土壤。这些多光谱成像农业无人机使用绿波段、红波段、红边波段和近红外波段的遥感技术，拍摄农作物和植被的可见和不可见图像。

多光谱传感器的数据对预防病害、虫害非常有用。它们还能极大地帮助农民计算出正确的水、肥料和喷洒量。

ToF相机可以通过多种方式作为农业多光谱解决方案的一部分。

ToF相机在快速测量体积方面表现出色。它们可以在一次拍摄中捕捉到完整的场景。ToF3D传感器是测量作物密度和提供覆盖物和粪便堆积量数据的理想选择。

为了获得农作物的准确数据，无人机飞行越稳定，数据、图像和胶片就越准确。更平稳的飞行可以改善数据采集过程，也有助于延长飞行自主性。

TeraRangerOne等ToF传感器可以作为一个非常精确的反应式高度计。与视野非常狭窄的激光系统相比，当无人机在地面和藤蔓上空交替飞行时，TeraRangerToF相机可以提供更平滑、更稳定的相对高度。

④、无人机ToF传感器用于测量体积

FlashlidarToF相机正被用于测量体积，如工厂或仓储环境中箱子的包装空间。

飞行时间传感器技术非常适合此应用，主要有以下三个原因。与其他3D扫描技术（例如条纹图案投影和3D激光位移传感器）相比，它更具成本效益；与3D激光位移传感器一样，它不需要运动轴即可扫描盒子；它的运行速度高达40每秒帧数，在包装盒填充包装材料时提供实时的体积测量。

在户外，安装有ToF相机的无人机或起重机能够测量库存或装满原材料的卡车的体积。安装有ToF相机的无人机可以飞越全部或部分存储区域，并快速计算出材料的沉积量或卡车的总负荷。

WhitakerContracting使用带ToF相机的无人机测量他们的库存，每年可节省22%的成本。他们节省了大量的成本，同时测量库存的频率也提高了2倍。现在测量库存所花费的时间比以前减少了75%。

⑤、无人机ToF传感器用于防撞系统

2016年，我们首次开始看到市场上出现了小型消费和商业无人机，它们可以检测障碍物。根据无人机、其传感技术和软件编程，无人机在检测到物体时，可以采取停止和悬停的动作，也可以绕着物体导航。

ToF相机的众多功能之一就是用于避障和防撞。

在研究市场上一些最新的无人机时，我可以找到3款无人机，它们使用ToF进行避障。其中一款无人机只使用ToF摄像头来探测无人机上方的物体。另一款无人机则是使用ToF摄像头与其他传感器结合来避开障碍物。

由于这是相当新的技术，随着更多的发展，相信未来我们会看到更多的无人机使用ToF闪光激光雷达相机传感器进行障碍物检测。

⑥、无人机上的手势识别ToF

一般来说，“3D飞行时间”用途可分为“手势”和“非手势”两类。手势应用程序强调人与人之间的互动和速度。非手势应用则强调测量精度。

手势应用程序将人类的动作（面部，手，手指或全身）转换为符号指令，以命令游戏机，智能电视或便携式计算设备。

例如，可以通过挥手来完成频道冲浪，并且可以使用手指闪烁来滚动演示。这些应用通常需要快速的响应时间，中低范围，厘米级的精度和功耗。在微软Kinect2使用时间-飞行传感器的手势交互。

市面上有不少无人机都有手势模式，对于拍摄无人机自拍非常有用。大疆MavicPro和Phantom4Pro就使用了手势模式。

大疆MavicAir采用先进的手势和人脸识别进行飞行和拍摄。大疆并没有给出太多关于他们手势模式背后技术的细节。他们的许多自主飞行模式和避撞系统，结合了视觉和超声波传感器以及复杂的算法。

总的来说，我们会看到更多的无人机进入市场，手势模式和新的自主飞行模式，ToF也会发挥它的作用。

⑦、无人机ToF传感器用于测量距离

飞行时间传感器基于信号的发射与被物体反射后返回到传感器之间的时间差，可以快速测量ToF传感器与物体之间的距离。

应用包括无人机的地面接近检测、室内无人机的天花板接近度检测等。

⑧、无人机ToF传感器用于仓储追踪

ToF相机可用于物体扫描和体积计数，协助我们为仓储提供无人机和解决方案。

比如ToF闪光激光雷达相机在Hardis集团Eyesee无人机上的使用。

Eyesee无人机配备了机载摄像头和室内地理定位技术，使其能够使用预先设定的飞行计划进行移动，并捕捉存储在仓库中的托盘的相关数据。

然后，无人机将捕捉到的图像与其在仓库中的位置相关联，并将其3D位置自动转化为物流地址（存储位置）。

⑨、使用ToF3D深度相机的无人机摄影机

3D在电视和电影中变得非常流行。专业摄影师、电影制作人和消费者都在寻找能够生成3D内容的相机，无论是视频还是静态照片。这种3D技术是基于ToF传感器实现的。

与传统相机不同的是，ToF相机不仅提供光强度图像，而且还提供包含每个像素的距离测量的范围图，该范围图是通过测量光到达物体并返回相机所需的时间获得的（飞行时间原理）。

无人机中的摄像头在过去的几年里有了很大的进步。去年，市场上出现了一些配备4k摄像头的无人机。还有2款带变焦摄像头的无人机。它们分别是WalkeraVoyager和大疆Inspire1无人机的ZenmuseZ3相机。

所以在不远的将来的某一天，我们可以期待在大多数无人机上看到3D摄影相机。

⑩、ToF传感器在无人机及汽车中的创新应用

汽车行业正在开发多种系统，包括一些使用闪光激光雷达飞行时间传感器的优秀安全系统。

这也是为什么我相信无人机行业会跟进，并开始在飞行时间技术上投入更多的时间和资源。

以下是汽车行业使用ToF技术的一些创新。

驾驶员状态监测，如头部位置检测和睡意识别等。

乘客分类用于自主设置预先定义的乘客偏好、优化的抬头显示可视化和优化调整的安全气囊部署力。

信息娱乐、导航和HVAC系统等的非接触式手势控制。

环绕视图，用于复杂的停车辅助和障碍物检测

例如，MLX75123Tof摄像头传感器是Melexis的全集成配套芯片。它完全适用于汽车和非汽车应用，包括但不限于手势识别、驾驶员监控、骨骼跟踪、人员或障碍物检测和交通监控。
责任编辑人：CC