XR与AR和VR的区别 如何使用人工智能开发更小、更轻的扩展现实眼镜

XR（Extended Reality，扩展现实）是一种将现实世界与虚拟世界相结合的技术，它包括了AR（Augmented Reality，增强现实）和VR（Virtual Reality，虚拟现实）等多种技术。

一、XR、AR和VR的概念

1. XR（扩展现实）

XR是一种将现实世界与虚拟世界相结合的技术，它通过计算机生成的图像、声音、触觉等感官信息，增强用户对现实世界的感知。XR技术可以让用户在现实世界中看到虚拟物体，或者在虚拟环境中感受到现实世界的物体。XR技术包括了AR、VR、MR（Mixed Reality，混合现实）等多种技术。

2. AR（增强现实）

AR是一种将虚拟信息叠加到现实世界中的技术，它通过计算机生成的图像、声音等感官信息，增强用户对现实世界的感知。AR技术可以让用户在现实世界中看到虚拟物体，但这些虚拟物体与现实世界的物体是相互独立的。AR技术的应用领域包括游戏、教育、医疗、零售等。

3. VR（虚拟现实）

VR是一种通过计算机生成的虚拟环境，让用户完全沉浸在虚拟世界中的技术。VR技术可以让用户在虚拟环境中看到、听到、感受到虚拟物体，但这些虚拟物体与现实世界的物体是完全隔离的。VR技术的应用领域包括游戏、教育、医疗、军事等。

二、XR、AR和VR的区别

1. 技术实现方式

XR技术是一种综合性的技术，它包括了AR、VR、MR等多种技术。XR技术通过计算机生成的图像、声音、触觉等感官信息，增强用户对现实世界的感知。而AR技术主要通过在现实世界中叠加虚拟信息，增强用户对现实世界的感知；VR技术则是通过计算机生成的虚拟环境，让用户完全沉浸在虚拟世界中。

2. 用户体验

XR技术可以提供更加丰富的用户体验，它可以根据用户的需求，将AR、VR、MR等多种技术进行组合，实现不同的应用场景。而AR技术主要提供现实世界与虚拟世界的叠加体验，用户可以在现实世界中看到虚拟物体，但这些虚拟物体与现实世界的物体是相互独立的。VR技术则提供完全沉浸式的虚拟环境体验，用户在虚拟环境中可以完全感受到虚拟物体，但与现实世界的物体是完全隔离的。

3. 应用领域

XR技术的应用领域非常广泛，包括游戏、教育、医疗、军事、零售、旅游等。由于XR技术可以提供更加丰富的用户体验，因此在很多领域都有广泛的应用前景。而AR技术主要应用于游戏、教育、医疗、零售等领域，通过在现实世界中叠加虚拟信息，增强用户对现实世界的感知。VR技术则主要应用于游戏、教育、医疗、军事等领域，通过提供完全沉浸式的虚拟环境体验，让用户在虚拟环境中进行学习和训练。

三、XR、AR和VR在不同领域的应用

1. 游戏领域

在游戏领域，XR技术可以提供更加丰富的游戏体验，通过将AR、VR、MR等多种技术进行组合，实现不同的游戏场景。例如，通过AR技术，用户可以在现实世界中看到虚拟的游戏角色和道具；通过VR技术，用户可以完全沉浸在虚拟的游戏世界中，体验更加真实的游戏场景。

2. 教育领域

在教育领域，XR技术可以提供更加生动的教学体验，通过将虚拟信息与现实世界相结合，帮助学生更好地理解和掌握知识。例如，通过AR技术，学生可以在现实世界中看到虚拟的科学实验和历史场景；通过VR技术，学生可以完全沉浸在虚拟的实验室和历史场景中，进行实践操作和探索。

3. 医疗领域

在医疗领域，XR技术可以提供更加精确的诊断和治疗手段，通过将虚拟信息与现实世界相结合，帮助医生更好地进行手术和治疗。例如，通过AR技术，医生可以在现实世界中看到虚拟的人体结构和病变部位；通过VR技术，医生可以在虚拟环境中进行手术模拟和训练，提高手术技能。

4. 军事领域

在军事领域，XR技术可以提供更加真实的训练环境，通过将虚拟信息与现实世界相结合，帮助士兵进行实战训练。例如，通过AR技术，士兵可以在现实世界中看到虚拟的敌人和战场环境；通过VR技术，士兵可以完全沉浸在虚拟的战场环境中，进行战术训练和模拟战斗。

5. 零售领域

在零售领域，XR技术可以提供更加便捷的购物体验，通过将虚拟信息与现实世界相结合，帮助消费者进行商品选择和购买。例如，通过AR技术，消费者可以在现实世界中看到虚拟的商品信息和评价；通过VR技术，消费者可以完全沉浸在虚拟的购物环境中，进行商品浏览和购买。

6. 旅游领域

在旅游领域，XR技术可以提供更加丰富的旅游体验，通过将虚拟信息与现实世界相结合，帮助游客更好地了解和体验旅游景点。

如何使用人工智能开发更小、更轻的扩展现实眼镜

如今的沉浸式扩展现实（XR）设备需要重型光学器件和显示器用头带固定，这增加了体积并形成了社会障碍。在设想的未来，头带将不再是必要的。在过去的几年里，NVIDIA Research 一直在与斯坦福大学计算成像小组合作，研究如何开发更小、更轻的 XR 眼镜，该小组由 Gordon Wetzstein 教授领导。

XR 眼镜光学设计中最重要的规则是显示器应该靠近用户的面部，以实现紧凑和轻便的设计，而图像应该看起来更远。随着显示器移动得离眼睛更远，重心也发生了变化。

然而，人眼无法正确感知离得太近的显示器，因此必须使用透镜等光学系统将图像中继到舒适的观看距离。为了使该系统有效，显示器需要位于透镜的焦距附近，这反讽地需要将显示器放置得更远。

一种解决方案是使用折叠光路的煎饼透镜，这种方法引入了新的问题，如像差和额外的重量。光波导也经常用于实现紧凑型 XR 眼镜，但它们也有自己的挑战，包括有限的视角和无限远的固定焦点。

XR 全息眼镜

全息近眼显示器作为一种能够克服这些限制的技术正在受到关注。新的显示元件，空间光调制器（SLM），不是操纵光的强度，而是操纵光的相位，从而能够在 SLM 之前或之后重建三维全息图。使用此功能，三维图像可以定位在镜头焦距附近，即使显示器非常靠近镜头。

利用这一原理，我们的团队推出了厚度仅为 2.5 毫米的虚拟现实全息眼镜（图 2），如虚拟现实全息玻璃所示。通过波导、全息近眼显示器和几何相位透镜，VR 眼镜可以在没有自由空间传播的情况下以最小的厚度制造，该团队实施了台式和可穿戴原型进行测试。

我们的双目可穿戴原型支持 3D 焦点提示，它提供了 22.8 度的对角视野，带有 2.3 毫米的静态眼盒和带光束转向的动态眼盒的额外功能，同时重量仅为 60 克，不包括驱动板。利用用户瞳孔作为自然傅立叶滤波器的思想，我们首次提出了一种真正的眼镜形状因子全息 VR。

杂志 《自然》最近刊登了这项研究，即全彩 3D 全息增强现实显示器，具有金属表面波导。本研究介绍了独特的全息增强现实（AR）眼镜，它结合了逆向设计的全色元表面光栅、紧凑的色散补偿波导几何结构和人工智能驱动的全息算法。

采用与我们之前的工作类似的方法，这项研究从光路中消除了透镜，并战略性地使用全色超表面光栅作为内耦合器和外耦合器。如图 3所示，传统的 AR 眼镜使用振幅 SLM，如有机发光二极管或微型发光二极管，这些都需要基于投影仪的光引擎，该光引擎通常至少与投影透镜的焦距一样厚。

基于波导的 AR 显示器的光学原理。我们的全息 AR 眼镜的设计使用了仅相位 SLM，可以安装在耦合光栅附近，从而最大限度地减小器件的形状因子

我们的全息 AR 眼镜的设计使用了仅相位 SLM，该 SLM 可以安装在非常靠近内耦合光栅的位置，从而最大限度地减小了器件的形状因子。与传统的 AR 眼镜不同，我们的全息设计可以为虚拟内容提供全 3D 深度提示。图4显示了通过我们的紧凑型全息显示器原型捕获的实验结果。这项创新工作是首次在完全透明的玻璃结构中成功实现全彩 3D 全息。

我们设计的另一个重要特征是使用了人工智能驱动的全息算法，这使得能够使用之前介绍的紧凑、轻便的全息 XR 眼镜。SLM 由相干光源（如激光）供电，其中波导系统中相干波前的精确操作对于全息显示器至关重要，但由于相干光的干扰性质，这一点非常具有挑战性。为了应对这一挑战，我们开发了一个数学模型，该模型结合物理精确建模技术和人工智能来描述波导中相干波的传播。

如图 5 所示，波导的物理方面（以绿色突出显示）与从相机反馈中学习的 AI 组件（以橙色突出显示）相结合。在我们的模型中，输入相位模式（左）将从 0 到 2π的每像素相位延迟应用于会聚照明，然后波前被所学习的耦合器内效率调制。本文中的效率是指表征元表面的物理量。

然后，该波阵面被发送到耦合器内平面处的 CNN，并使用其物理激励传递函数通过波导传播，然后使用额外的学习输出耦合器效率来确定输出耦合波阵面（中心）。后者被传播到距离用户不同距离的目标场景，在那里应用 CNN，将复值场转换为观察到的强度（右）。

提出的波浪传播模型。当该模型在捕获的数据集上进行训练时，所学习的参数使其能够准确预测我们的全息 AR 眼镜的输出，并在运行时计算目标场景的相位模式

当在捕获的数据集上进行训练时，CNNs 的学习参数、耦合器效率和波导传播使该模型能够准确预测我们的全息 AR 眼镜的输出该模型是完全可微分的，使得简单的梯度下降计算机生成的全息算法能够在运行时计算目标场景的相位模式

该模型可以通过神经网络组件参数化，这些组件可以从相机反馈中自动学习。在实际的全息显示器中，即使是波长尺度的错位也会导致图像质量的显著下降，使得人工智能驱动的校准至关重要，尤其是在波导等复杂结构中。所提出的波传播模型准确地表示了物理光学，相比其他模型显著提高了图像质量（图 2和图 4）。

总结

一度被认为不可能，但人工智能使实用的全息显示器变得可行，并使 3D XR 眼镜能够支持聚焦提示。这一研究领域为人工智能在显示器中开辟了新的可能性。虽然人工智能已经被用于内容创建和人机交互，但它也可以显著减少显示器本身的尺寸和重量，这是一个真正突破性的成就，超越了传统的期望。这些创新还为新的显示器外形因素带来了潜力，超越了自诞生以来一直占据主导地位的传统 2D 矩形显示器。