成像设计趋势：为什么 AR/VR 需要颠覆性的智能成像系统

视觉对人类来说是如此重要，以至于你大脑几乎一半的能力都致力于视觉感知。.毫不奇怪，Meta，微软和苹果等超大规模公司押注增强/虚拟现实（AR / VR）——从增强视觉开始——成为新的机器-人机界面。由于我们的眼睛是仅次于大脑的第二复杂的器官，因此AR / VR取代个人电脑和智能手机是有意义的。然而，电子学（大脑）和光学（眼睛）仍然存在许多技术障碍。在我关于成像设计趋势的第一篇博客文章中，我讨论了数字孪生将如何通过成像系统的端到端仿真（从制造和测试到用户体验虚拟化）促进大规模定制和数据优化。在这篇博文中，我将重点介绍AR/VR如何推动成像设计的创新。 任何认为数字孪生只包括机械、热或电气组件的人都不需要AR/VR系统来开发颠覆性的光学智能成像系统。

什么是成像系统，它们如何在AR/VR系统中使用？

成像系统用于各种应用中的观察、图像捕获或图像显示，包括太空探索、工业 5.0 的机器视觉、国防和安全、娱乐、辅助驾驶、计算机和智能手机。成像系统通常由相机和显示器以及成像镜头组成。它们可以是独立的单元或模块化组件组件。

数字化在20年中期进入我们的生活千世纪。第一个机器人机界面（MHI）是只有专家才能使用和交互的大型计算机。在 1970 年代后期，第一台个人电脑在智能手机进入我们的口袋之前就进入了我们的家庭。预计MHI的下一次革命将是AR / VR系统 - 抬头和免提。目前还没有人能够预测未来MHI的确切形状，但要使它们无缝和边缘，而不是连接到云，面临着巨大的挑战。

完美的沉浸式环境仍然是虚拟现实的梦想。无处不在的无缝叠加是增强现实的挑战。不要忘记价格、整体性能（图像质量、电源效率）和人体工程学方面的多重限制。有朝一日，AR/VR系统可以像隐形眼镜一样轻巧、无缝和高效——不会分散你的注意力，而是通过在视野中的精确位置提供量身定制的信息来加强注意力。

正如我们的大脑和眼睛是两个主要器官一样，计算芯片和成像系统是未来AR / VR MHI的核心。遵循摩尔定律，半导体生态系统几十年来一直在努力使计算芯片小型化。因此，今天的智能手机具有 1970 年代超级计算机的计算能力。光学电子行业必须付出同样的努力，为AR/VR系统实现小型化、数字化和智能成像系统。

成像系统小型化

今天只需 1 美元，您就可以购买一套八个自由曲面塑料镜片，这些镜片可以放入不到千分之一英寸的尺寸。1.这套复杂的镜头是通过优化一千多个参数设计的。CMOS图像传感器和计算机视觉芯片也已经小型化和改进，每个智能手机都有不少于四个摄像头：它们比二十年前的第一台数码相机拍摄的图像更好，后者拥有超过一百万像素和笨重，复杂的镜头。

显示器也变得越来越小，以至于我们的下一个MHI不仅可以在我们的眼睛上，还可以在我们的眼睛里。像MOJO Vision这样的公司正在开发颠覆性的小型系统，可以安装在隐形眼镜上，乍一看是看不见的。这种仿生眼由一个比一粒沙子还小的显示器组成，该显示器将其发射引导到我们眼睛最敏感的部分 - 中央凹 - 那里是光感受器数量和密度最高的部分。更高版本将包括处理器、眼动追踪传感器和通信芯片。一个微小的电池也可以为整个设备供电。

成像系统走向数字化

与几十年前的电子产品类似，今天的光学器件主要是模拟的。光学系统由复杂的笨重表面、成堆的薄膜或连续的形状组成。直到最近，才出现了这种传统方法的替代方案。扁平光学器件的出现是为了创造纳米结构器件（具有小于波长的特征），能够复制光学功能，如聚焦、滤色和反射。该技术的主要优点是其紧凑性、多功能性和与半导体工艺的兼容性，为光学和电子协同集成释放了新的可能性。要使这项技术成熟，需要克服许多障碍。材料和半导体工艺领域的领导者，如应用材料公司，正在利用他们的专业知识帮助推动扁平光学技术进入各种批量市场。

每个光学元件都将从模拟过渡到数字。全数字成像系统将以更敏捷和更具体的方式收集或显示图像。注视点相机或显示器是如何以更定制和更有效的方式使用像素化成像系统的一个例子，将详细的视觉信息精确地带到必须处理的地方，而使其他区域分辨率较低。从某种意义上说，数字成像系统将模仿我们的眼睛的功能。

面向未来的设计：成像系统智能化

我们大脑的一半处理视觉信息。同样，成像系统必须变得智能，这意味着光学和电子必须共同设计、共同优化，甚至可能共同制造。

成像系统由收集光线的传感器、将原始传感器信号传输到处理单元的转换器以及对数字信号进行后处理以做出决定的计算机视觉单元组成。每个组件都由不同的团队单独设计，并采用各种技术制造。

近传感器或传感器内计算是更具创新性的成像系统的主要趋势，这些成像系统具有优化的能耗、低延迟和更高的安全性。例如，CMOS图像传感器可以由平面片上系统组成，该片上系统集成了光电二极管阵列、脉冲调制电路和简单的ADC转换器，以便在传感器层附近或传感器层中具有前端处理单元。其他方法可能包括一种解决方案，其中光学器件、传感器和算法联合优化，然后相互配合使用，作为独特成像问题的解决方案：识别物体做出决定与拍摄纪念品照片不同，视频监控摄像机应该不同于眼动追踪摄像机。显示引擎也可以变得如此智能和完全优化，以至于我们甚至可能不需要构建中间图像来渲染真正身临其境的内容。

下一代成像系统有望扩展AR / VR技术，使其能够取代个人电脑和智能手机。对于光学行业来说，这是一个激动人心的时刻，尤其是对于智能成像系统设计的催化剂生态系统。

审核编辑：郭婷