关于AR VR中的预测性追踪定位分析介绍

Yuval Boger (VRGuy)， Sensics的首席执行官分享了他对于HMDs和虚拟现实技术的经验和观点。

如果你有感兴趣的话题或者你想得到解释的概念，请评论留言，我们会尽力解决这些问题。你也可以在这儿问我任何问题。

理解预测跟踪

在“增强现实”和“虚拟现实”系统的背景下,预测跟踪是指预测未来方向或一个物体的位置或身体部分的过程。例如,人们可能会想预测的头的方向或手的位置。

为什么预测跟踪有用?

关于预测追踪一个常见的应用就是减少明显的“光子运动”延迟,即运动之间的时间和运动反映在绘制的场景。由于运动之间有延迟和更新显示（如下所示），使用可预估的方向和位置作为数据应用于更新显示,可以缩短延迟。

虽然许多注意力一直集中在虚拟现实应用程序的预测跟踪上,它对于增强现实技术方面也是非常重要的。举例来说,如果你要显示一个图形覆盖，使其出现在你通过增强现实眼镜看到的物体的上方,非常重要的一点是保证叠加物在你转头时位置不变。观察对象能够被相机识别,但相机需要一些时间来捕捉帧,处理器需要确定对象在框架中的位置，图形芯片要呈现新的覆盖。通过使用预测跟踪,你可以更好的记录覆盖图像和物理对象。

它是如何工作的呢?

工作原理

如果你看到一辆车以恒定的速度行驶而且你想预测汽车将在下一秒钟驶向何处，你也许可以做出精确的预测。你知道汽车的当前位置,你可能知道或可以估计当前的速度,因此可以推断汽车不久之后的位置。

当然,如果你比较你的预测和汽车实际行驶的情况,你会发现你每次的预测都不可能是100%准确的：汽车可能会改变方向或加速。距离越远，你预测的结果越不准确：预测下一秒钟汽车的位置比预测下一分钟的要准确得多。

关于汽车及其行驶特点你了解的越多，越有机会做出准确的预测。例如，如果你不仅知道了其速度，还知道其加速度，你的预测可能就更准确。

如果你了解更多关于被追踪的个体的信息，也可以提高预测精度。例如，当进行头部跟踪时,了解转头最快的速度和一般状态下的速度,可以提升跟踪模型。同样,如果你做眼部跟踪,你可以使用眼球追踪信息预测这篇文章中讨论到的头部运动，

延迟的来源

所需的执行预测跟踪来自实际运动和反应运动的图像之间的延迟。延迟来自多因素,如:

•感应延迟。传感器(如陀螺仪)可能是带宽受限的，因而无法立即报告方向或位置变化。同样,基于相机的传感器可能出现延迟，通常在相机传感器上的像素接收到跟踪对象的光线到框架发送到主机处理器之间这段时间里。

•处理延迟。传感器通常使用某种类型的传感器与算法相结合,执行该算法时就会增加延迟。
•数据平滑。传感器数据有时是嘈杂的,避免错误出现,软件或基于低通算法的硬件会执行任务。
•呈现延迟。在呈现一个非凡的场景时,图像需要一些时间传到显示设备。
•帧速率延迟。例如，如果播放操作是以100赫兹的频率,那么连续帧之间的时间是就是10毫秒。当某个特定像素显示之后不精确的信息可能需要等待下一个次像素绘制完成再显示。
•传输延迟。例如,如果定位传感用完USB连接的设备，数据传到主处理器和USB数据传输完成之间也有时间。

其中一些延迟是非常小的,但不幸的是各种延迟会叠加起来。预测跟踪加上其他技术,如时间扭曲,有利于减少明显的延迟。

能够追踪多久的未来时间?

四个字:视情况而定。你首先需要估计点对点系统延迟,然后再进行优化。

也许你需要在任何给定的时间内预测几个未来的时间点。这里有一些例子可以解释为什么需要这样做:

•有的对象有不同的端对端延迟。例如,带相机的手部跟踪器和头部跟踪可能有不同的延迟,但都需要在同样的场景中同步,所以预测跟踪需要不同的“向前看”的时间。

•在单一屏幕布局时---如手机屏幕---为双眼提供图像,通常情况下, 相对于另一只眼睛，映入在一只眼睛只有半帧(例如1/60秒的一半,大约8毫秒)。在这种情况下,最好给延迟的另一半屏幕使用提前8毫秒的预测跟踪。

以下是一些常用的预测跟踪算法的例子：

•航迹推算。这是一个非常简单的算法:如果位置和速度(或角位置和角速度)在给定的时间内是已知的，预测位置假设最终位置和速度是正确的,而且速度是相同的。例如,如果最后已知位置是100个单位,最后一个已知的速度是10单位/秒,因而未来10毫秒(0.01秒)内的预测位置100 + 10 x 0.01 = 0.01。虽然计算很简单,但它假定的是过去的位置和速度是准确的(例如,忽略各种噪音)且速度是恒定的。而这两个假设往往是不正确的。

•卡尔曼预测器。这是基于广受欢迎的卡尔曼滤波器设计的。卡尔曼滤波器是用来减少包含数学模型的操作系统中传感器噪声的。点击此处查看更多关于卡尔曼滤波器的详细解释。

•alpha-beta-gamma。ABG预测器与卡尔曼预测器密切相关,但并不是很通用且数学程式简单。我们可以从较高层面解释一下。ABG不断试图估计速度和加速度并使用这些数值进行预测。由于这些估测将实际数据考虑在内所以一些测量上的误差减少了。配置参数(α,β和γ)增强了反应与降噪能力。如果你想了解一下,请看这里:

总结
预测跟踪是一个有效且被广泛应用的减少明显的延迟的技术。它提供了简单的或复杂的操作,需要一些思考和分析,但确实是值得的。