注视点渲染可能会用于减少VR头显的计算负荷

位于赫尔辛基的初创公司Varjo曾展示过AR透视组件和“人眼分辨率”VR头显，并参展了于5月召开的增强现实国际展（AWE），而AR硬件/软件企业Rave的首席科学家Karl Guttag参加了这次大会，并于日前分享了他的经历。以下是小编的具体整理：

1. 介绍

我早就应该分享2018年5月底在增强现实国际展（AWE）的经历。在2017年撰写了两篇文章后，我很想看看Varjo的技术。Varjo在最近的新闻中宣布完成了3100万美元的B轮融资，而他们非常好人，邀请我前往套房体验一些演示内容，并允许我自由拍摄照片。

我希望知道的事情是：1.实际效果如何；2.他们是否已经解决 眼动追踪 和注视点显示图像运动（我在2017年的文章中曾表示质疑）。答案是：1.当你目视前方时，效果非常优秀，但如果朝四周看，你会看到边界；2.“不完全如此”。

尽管未能体验Varjo的眼动追踪和显示运动演示令人感到失望，但我确实欣赏他们的透视AR演示，在一定程度上可以说相当惊艳。这家公司表示，他们刚好在国际展之前准备好了这个AR演示内容。虽然有点原始，但它仍然有效地说明了Varjo的概念设计。

2. 注视点显示器

注视点显示技术主要依赖于人类视觉仅在眼睛中心具有高分辨率。这个概念将以高分辨集中渲染眼睛注视位置的图像，而在其他位置则以低分辨率填充。Varjo将用于VR头显的大型平板显示器，以及用于“注视点”显示器的小型 OLED 微显示屏相结合，并利用分束镜将两个图像组合在一起。

理论上，分束器应该不断移动，令来自OLED微显示器的图像追踪眼睛。尽管理论上很容易实现，但在实践中却很难解决，而且是Varjo没有公开演示的部分。当我在大会期间询问为什么不进行演示时，Varjo有点莫名其妙地谈到了实验室原型存在噪音的原因，而人们对静态（固定反射镜和眼动追踪）版本非常兴奋，所以他们决定专注于这一点。

3. 静态的注视点显示器

这次演示从他们的静态注视点显示器开始，其包括一个搭载静态光束组合器和微显示器的VR头显版本。如果你直视前方，它确实“有效”，而且图像质量与Varjo于2017年公布的通过实际光学系统拍摄的图片一致。

Varjo演示了一系列的图片，而正如我以往的博文一样，彩色显示器往往最难应付一张简单的黑白测试图。下面就是这样一种测试图。相机确实倾向于夸大了注视点显示图像与平板显示图像的过渡，因为当你直视前方时，只有眼睛一部分能看到这个区域，而且分辨率要低得多。

我在中心区域注意到的一个问题是，这里出现了一定的色差。对于注视点显示器，一个基本问题是外围图像（低分辨率）与注视点图像（高分辨率）都必须通过相同的主透镜。他们使用的透镜可能对外围图像来说已经足够好，但对于注视点图像而言画质太低，因此你可以看到色差。

帮我审阅与校对本文的罗恩·潘森斯基（Ron Panzensky)评论道，尽管演示内容给他留下了深刻的印象，但他认为高分辨到底分辨率的过渡非常突兀。我在撰写第二篇关于Varjo的文章时已经提到这个问题。另外因为相同的原因，缺乏追踪意味着眼睛可以移动并注意到追踪。

下一张照片是一个更复杂的场景，而我没有注意到任何问题。图像的复杂性有助于隐藏任何明显的缺陷（容易在平坦的白色背景上发现）。与此同时，你可以看到注视点区域的高分辨率（以红点表示）。

4. 透视AR显示

我认为Varjo的透视AR演示尤其有趣。头显前端搭载了两个摄像头，房间为运动追踪进行了设置。我相信他们对这个演示仍然采用了在光学方面经过修改调整的 Oculus Rift 头显。当你戴上头显后，你会看到房间中出现了一个3D版本的摩托车，你可以走进它，环绕它走动，而这辆3D摩托车在房间中的表现十分逼真。跟光学AR不同（如 Magic Leap 和 HoloLens ），虚拟对象看起来十分稳定，没有鬼影。你很难区分真实与虚拟。

当你直视前方的时候，你会看到一个看似极高分辨率的图像，这增加了摩托车就在现场的感觉。但对于摩托车计算机模型的某些特征，它们实际上可以采用更多的多边形，因为一些曲线似乎变成了线段，如摩托车后视镜的后面。

对于上面的裁剪图和下面的大图，我用红点粗略地勾勒了注视点图像的边界。通过相机你可以看到其中的过渡，但在正视前方时看不到。

尽管我从头部运动到图像改变之间没有注意到明显的延迟，但我在演示过程中没有非常特意地关注这个问题。我同时没有关注注视点显示区域的真实世界情景，但这将显然受限于摄像头的分辨率。

5. 对光学AR很难的事情通常对透视AR而言都很轻松，反过来也一样

我想特别说明的是，与光学AR相比，透视AR存在其优点与缺点。对于透视AR而言，光学AR的一些最困难挑战几乎可以说是不值一提。

透视AR在不透明度和硬边缘遮挡方面具有主要优势，平衡虚拟世界和现实世界之间的亮度也更容易，而且光学元件通常也更简单。

但与光学AR相比，透视AR同时存在许多严重的缺点。没有显示器可以匹配人类视觉系统。输入和输出之间总会有一定的延迟。现实世界的焦点没有正确改变，导致视觉辐辏调节冲突。透视AR头显将变得更加庞大，并且完全格挡用户对现实世界的直接视觉感知，从而隔离用户。

6. 静态注视点显示器可以带来99%的视觉冲击，但可能只有1%算得上是解决方案

根据Varjo在AWE 2018大会的说法，他们推迟了优化眼动追踪和显示器运动，并专注于构建静态版本的注视点显示器。这与他们早前的言论与官网的文字有所冲突：“通过实时追踪你的眼睛，Bionic Display能够实现无缝和完全精确的图像，远超于当前市场上的任何产品。”

当然，“静态”（非眼动追踪）注视点显示器可以给人留下非常好的第一印象，因为用户能够感知到非常高分辨率的图像。但只局限于用户直视前方，并且只有很少的眼球运动。如果视场中出现了像文本这样的细节，用户就会知道只有中心位置是清晰可见。

遗憾的是，只有眼动追踪才能准确地令一切在光学上协同运作，包括令所有对象焦点对准，而这是注视点显示器问题的最困难部分。眼动追踪存在一系列难以解决的问题，如软件/算法，移动注视点图像，以及整体光学元件。

7. 总结

有充分的理由相信注视点渲染可能会用于减少VR头显的计算负荷。诸如英伟达和 微软 正在发表有关采用大型平板显示器的研究论文。这些显示器采用传统的平板显示器，并简单地根据眼动追踪改变计算。

小型平板显示器需要继续减小像素尺寸，这反过来又可用于改善角分辨率。第一代VR头显（如 Oculus   Rift ）达到每像素约为4.4弧分，而Oculus Quest则是每像素约为3弧分。尽管大多数设计师的“目标”是每像素约1弧分，但通常来说，每像素约1.5弧对于大多数实际用例而言已经“足够好”，特别是游戏。

问题在于，在平板显示器能支持“足够好的”角度分辨率之前，在光学移动的注视点区域显示变得实用之前，具备移动的眼动追踪高分辨率区域的“物理”注视点显示是否切实可行。