英飞凌新款长距离3D ToF图像传感器满足摄影和AR/MR需求

如今的智能手机必须提供许多吸引用户的功能，尤其是要满足对高质量摄影效果，以及日益增长的增强现实（AR）/混合现实（MR）功能需求。据麦姆斯咨询介绍，英飞凌（Infineon）基于pmd technologies的飞行时间（ToF）像素技术开发了新款长距离3D ToF图像传感器，可以满足上述摄影和AR/MR的需求。

购买新款智能手机时，消费者越来越重视手机摄像头。一方面，他们想要拍摄高质量的照片和视频；另一方面，他们希望全面的增强现实功能，以支持AR/MR游戏领域中的新兴和高级的应用功能。因此，智能手机的摄像头已经成为购买过程中的决定性要素，并且无论在商业、教育还是工业应用中，智能手机的摄像头都必须能够将现实世界与数字世界联系起来。集成飞行时间（ToF）图像传感器的3D摄像头正好可以具备此项能力！

过去几年，智能手机3D摄像头的开发主要集中在手机正面。因为前置摄像头对于各种高安全性和便利性应用至关重要。例如，前置3D摄像头用于高级安全功能——3D人脸识别以及应用解锁和移动支付。此外，前置3D摄像头还可用于3D虚拟化身、社交媒体交互和具有特殊深度效果的摄影美化。上述功能促进了3D摄像头在手机正面的部署应用，目前这一趋势现已在市场上确立。

同时，具有专业品质和沉浸式AR/MR体验的计算摄影将成为推动智能手机发展的下一个游戏规则变革者，并为在智能手机背面采用3D摄像头提供重要机遇。这也将引发无数此类新应用的诞生，从而将进一步推动后置3D摄像头的发展。根据Strategy Analytics预测，2025年智能手机后置ToF摄像头市场出货量将超过5亿个（如图1所示）。

图1 智能手机后置3D ToF摄像头市场预测

然而，目前AR/MR应用仍然非常有限。几年前在游戏和3D设计中普及的AR应用，用户在其中将虚拟角色或对象放置在场景中的某处，通常只不过是将计算机生成的视觉效果叠加到物理环境上——利用数字细节补充现实世界，从而产生有限或不沉浸的用户体验。在这种情况下，两个关键要素只是集成摄像头的手机和带有合适算法的AR应用程序（App）——用于计算图像并将其投影到手机屏幕上的场景中。但是，真正的MR将现实世界与数字元素融合在一起，使它们可以实时交互和融合。MR可以实现虚拟对象与真实对象之间更高程度的沉浸和无处不在的交互，并将虚拟图像完美地渲染到现实世界中。MR需要在所有光照条件下实时准确地获取3D深度数据，并且对处理能力的要求比带有图像叠加的简单AR效果要高得多。基于3D传感技术的解决方案由于提供了2D摄像头无法提供的深度细节，因而备受关注。尽管如此，但仍然存在挑战——因为当前部署3D传感解决方案的智能手机尚无法在不对测距范围和功耗进行重大折衷的情况下提供理想的分辨率。

英飞凌REAL3产品组合中最新一代的3D ToF图像传感器现已解决了上述缺点。在详细解释这种新器件的优点之前，让我们先看看ToF原理。

基于ToF原理的3D图像传感器

英飞凌新型REAL3 3D ToF图像传感器芯片利用红外光，并采用飞行时间工作原理（图2）。

图2 英飞凌REAL3 3D ToF图像传感器的工作原理

智能手机3D摄像头的照明系统将通常在几十兆赫兹范围内调制的红外光发射到物体上，然后红外光再反射回来被3D ToF图像传感器接收。3D ToF图像传感器的每个单独像素都测量由照明系统发出的调制红外光经物体反射回来的传播时间。由于3D ToF图像传感器的每个像素都配备一个微透镜，因此大部分入射光被引导到像素的敏感区域：实际上，在非活动表面上几乎没有光能损失，并且光学像素的灵敏度明显更高。最后，利用算法处理测得的数据，以检测物体的距离、大小、运动和形状，并在此基础上创建精确的3D模型。

英飞凌与专注于ToF技术的德国公司pmd technologies一起开发了REAL3 3D ToF图像传感器系列。到目前为止，只有少数公司成功地将合适的3D ToF解决方案推向了市场，因为这需要广泛的系统能力和对ToF技术的深刻理解。英飞凌和pmd technologies自2013年以来通力合作，一直处于ToF技术的前沿领域。他们共同开发了五代3D ToF图像传感器，这些ToF传感器已应用于多款智能手机、AR设备、智能家居、工业相机和汽车。

与之前的3D ToF图像传感器相比，第六代REAL3 3D ToF图像传感器经过专门优化，可以解决智能手机的痛点，从而增强拍照效果和AR/MR功能。该传感器比前几代产品能耗降低40%，从而提高了智能手机的电池使用寿命。这是AR/MR游戏的关键，例如ToF摄像头长时间处于开启状态。由于具有较高的SoC集成度，因此采用这种新款3D ToF图像传感器的摄像头设计可以缩小35%，从而为智能手机设计提供了更大的自由度，进而提高了成本效率。最后，新款3D ToF图像传感器及系统旨在提供最远10米的深度数据，并且不会在短距离内损失高分辨率（图3）。

图3 英飞凌新款长距离REAL3 3D ToF图像传感器应用

为了达到10米的测量距离，必须显著改变发射光的调制方法（图4）。

图4 可以使用两个调制频率精确测量距离

ToF摄像头照明系统投射的红外光调制频率与深度质量/精度有关。调制频率越高，深度质量越好，但是同时无歧义范围（UR）也会缩小。因此，高深度精度需要高调制频率，但是对于较长的无歧义范围，则需要较低的调制频率。为了解决此问题，REAL3 3D ToF图像传感器使用两个不同的调制频率。这意味着对于每个频率都进行距离测量，然后将两个频率的测量值进行比较以确定物体的准确位置。这样可以将测量范围扩展到每个调制频率的无歧义范围之外。所有这些步骤都是通过pmd technologies的复杂ToF摄像头驱动软件完成的。

英飞凌最新一代3D ToF图像传感器和相关VCSEL驱动芯片使得3D成像系统能够采用比之前更高的调制频率对（modulation frequency pairs）。通过这种方式，深度精度得到提高，并且同时可以在长达10米的范围内高质量地扫描周围环境。在高达5米的距离处，甚至可以获得4万个深度点的高分辨率图像（图5）。

图5 英飞凌新款远距离REAL3 3D ToF图像传感器可提供灵活且卓越的分辨率，以在更远的距离范围内改善AR/MR体验

相比之下，市场上其它可用的3D传感解决方案只能在5米距离提供约600个深度点的分辨率，这意味着无法解决小物体的感知。凭借如此高的测距范围和分辨率，英飞凌的3D ToF图像传感器系列适用于各种AR/MR应用：无论是AR/MR游戏、房间和物体的3D扫描，还是家具设计和其它设计应用的3D成像。

此外，诸如智能手机AR游戏之类的“始终在线（always-on）”应用程序尤其受益于英飞凌新款3D ToF图像传感器的低功耗。在新一代产品中，功耗已降低了40%，这意味着智能手机的电池运行时间将大大延长。

在所有环境光条件下提供准确可靠的深度数据

英飞凌REAL3 3D ToF图像传感器还有另一个重要优势——它们在所有环境照明条件下都可以提供准确可靠的深度数据。这意味着即使在复杂的环境光条件下也可以生成高质量的深度数据。这一点变得越来越重要，尤其是在现代摄影中。为此，pmd technologies专门开发了一种专利电路，该电路集成在每个像素中，称为“背景照明抑制（Suppression of Background Illumination，SBI）”。SBI扩展了ToF图像传感器芯片的动态性能，并降低了由环境光（例如阳光直射）引起的像素饱和。

弱光条件是2D摄像头最具挑战性的环境之一，并且会阻止高质量的夜间模式人像和快速自动对焦。图6显示了ToF辅助弱光条件下的人像拍摄案例，该人像具有完美的背景虚化效果。ToF辅助人像拍摄的背后秘密是新型3D ToF图像传感器还可以创建场景的夜视图像，该图像以灰度图显示。

图6 在弱光条件下，英飞凌REAL3 3D ToF图像传感器实现具有完美背景虚化效果的ToF辅助人像拍摄

除了深度数据之外，ToF图像传感器的灰度数据也可以应用。同样，分辨率也是关键：英飞凌新款3D ToF图像传感器提供清晰的夜视图像，而同类应用中的其它商业解决方案仅提供数百个像素。图6的中间显示了所拍摄人像的灰度图和深度图，左侧图像显示了没有ToF辅助的2D人像照片，右侧显示了利用灰度图和深度图创建的背景虚化的人像照片。

最后，ToF辅助人像拍摄功能可以实现非常高效的图像处理，因此美化效果也可以实时应用于视频流。总之，在适当设计的3D摄像头系统中，英飞凌3D ToF图像传感器可确保在所有环境光条件下（无论是在强烈的阳光照射下，还是在黑暗之中，抑或是在建筑物内或车内）都能够可靠地工作。

用户还可以通过I²C接口动态配置3D ToF图像传感器。因此，在操作期间，帧率可以像曝光时间或预定义的操作模式一样轻松地调整，从而实现针对照明和操作环境进行功能优化。此外，智能电源管理可确保低功耗。借助3D ToF图像传感器，ToF摄像头可以在生产结束后数秒内可靠地校准。

英飞凌新款长距离REAL3 3D ToF图像传感器尺寸仅为4.4mm x 4.8mm，因此在电路板空间有限的情况下，它是紧凑型3D摄像头设计的理想解决方案。得益于高度集成的CMOS图像传感器和英飞凌VCSEL驱动芯片，英飞凌3D摄像头方案使用的组件数量少于其它商用3D摄像头方案，这也大大降低了3D摄像头的成本。3D ToF图像传感器特性（例如编码调制）和配置灵活性还为各种应用和多摄像头场景提供了改进的性能和鲁棒性。性能、低功耗、功能、尺寸和低成本的结合使3D ToF图像传感器特别适合于移动设备的3D摄像头应用。

英飞凌新款REAL3 3D ToF图像传感器的高级配置性提供了差异化的3D摄像头性能，以支持不同的测距范围、不同的环境光条件和不同的使用情况。根据应用需求，该传感器可实现以下功能：实时增强现实、远程扫描、小物体重建、低功耗的快速自动对焦和图像分割。这使得诸如视频和图像中的背景虚化等效果易于实现，并且与照明条件无关，无需对图像进行复杂的后处理。

据麦姆斯咨询介绍，作为一家全球领先的半导体制造商，英飞凌为移动和其它消费类应用提供REAL3 3D ToF图像传感器产品组合（如裸芯片），而系统设计及广泛的应用需求则由设计合作伙伴负责。pmd technologies提供适用于全系列REAL3 3D ToF图像传感器的摄像头驱动软件——通过全面且通用的API轻松实现3D ToF图像传感器配置。新款3D ToF图像传感器芯片的批量供货将于2021年第二季度开始。目前，3D ToF图像传感器演示套件已经可以提供。

总结

英飞凌与pmd technologies合作开发的新一代3D ToF图像传感器适用于多种应用领域，例如实时混合现实、增强摄影、3D对象扫描和房间重建。无论环境光条件如何，都可以轻松实现视频和运动场景图像的背景虚化等效果。此外，可以在长达10米的距离内进行高质量的深度数据采集，并且不会在较短距离内损失分辨率。

智能手机中的“始终在线（always-on）”应用程序（例如混合现实游戏）受益于新款3D ToF图像传感器的低功耗，可为用户提供了更长的运行时间。在用于房间和对象重建的3D扫描等应用中，以及在建筑和工业室内设计等应用中，基于新款3D ToF图像传感器的解决方案的测量范围是其它商用解决方案的两倍。

原文标题：英飞凌新款ToF图像传感器实现先进的摄影技术和身临其境的AR/MR体验

文章出处：【微信公众号：MEMS】欢迎添加关注！文章转载请注明出处。

责任编辑：haq