0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

关于AR和VR中的预测性追踪定位的原理分析和应用

M93f_兴芯微 来源:djl 2019-08-25 11:43 次阅读


如果你有感兴趣的话题或者你想得到解释的概念,请评论留言,我们会尽力解决这些问题。你也可以在这儿问我任何问题。

理解预测跟踪

关于AR和VR中的预测性追踪定位的原理分析和应用

在“增强现实”和“虚拟现实”系统的背景下,预测跟踪是指预测未来方向或一个物体的位置或身体部分的过程。例如,人们可能会想预测的头的方向或手的位置。

为什么预测跟踪有用?

关于预测追踪一个常见的应用就是减少明显的“光子运动”延迟,即运动之间的时间和运动反映在绘制的场景。由于运动之间有延迟和更新显示(如下所示),使用可预估的方向和位置作为数据应用于更新显示,可以缩短延迟。

虽然许多注意力一直集中在虚拟现实应用程序的预测跟踪上,它对于增强现实技术方面也是非常重要的。举例来说,如果你要显示一个图形覆盖,使其出现在你通过增强现实眼镜看到的物体的上方,非常重要的一点是保证叠加物在你转头时位置不变。观察对象能够被相机识别,但相机需要一些时间来捕捉帧,处理器需要确定对象在框架中的位置,图形芯片要呈现新的覆盖。通过使用预测跟踪,你可以更好的记录覆盖图像和物理对象。


它是如何工作的呢?

工作原理

如果你看到一辆车以恒定的速度行驶而且你想预测汽车将在下一秒钟驶向何处,你也许可以做出精确的预测。你知道汽车的当前位置,你可能知道或可以估计当前的速度,因此可以推断汽车不久之后的位置。

当然,如果你比较你的预测和汽车实际行驶的情况,你会发现你每次的预测都不可能是100%准确的:汽车可能会改变方向或加速。距离越远,你预测的结果越不准确:预测下一秒钟汽车的位置比预测下一分钟的要准确得多。

关于汽车及其行驶特点你了解的越多,越有机会做出准确的预测。例如,如果你不仅知道了其速度,还知道其加速度,你的预测可能就更准确。

如果你了解更多关于被追踪的个体的信息,也可以提高预测精度。例如,当进行头部跟踪时,了解转头最快的速度和一般状态下的速度,可以提升跟踪模型。同样,如果你做眼部跟踪,你可以使用眼球追踪信息预测这篇文章中讨论到的头部运动,

延迟的来源

所需的执行预测跟踪来自实际运动和反应运动的图像之间的延迟。延迟来自多因素,如:


•感应延迟。传感器(如陀螺仪)可能是带宽受限的,因而无法立即报告方向或位置变化。同样,基于相机的传感器可能出现延迟,通常在相机传感器上的像素接收到跟踪对象的光线到框架发送到主机处理器之间这段时间里。

•处理延迟。传感器通常使用某种类型的传感器与算法相结合,执行该算法时就会增加延迟。
•数据平滑。传感器数据有时是嘈杂的,避免错误出现,软件或基于低通算法的硬件会执行任务。
•呈现延迟。在呈现一个非凡的场景时,图像需要一些时间传到显示设备。
•帧速率延迟。例如,如果播放操作是以100赫兹的频率,那么连续帧之间的时间是就是10毫秒。当某个特定像素显示之后不精确的信息可能需要等待下一个次像素绘制完成再显示。
•传输延迟。例如,如果定位传感用完USB连接的设备,数据传到主处理器和USB数据传输完成之间也有时间。

其中一些延迟是非常小的,但不幸的是各种延迟会叠加起来。预测跟踪加上其他技术,如时间扭曲,有利于减少明显的延迟。

能够追踪多久的未来时间?

四个字:视情况而定。你首先需要估计点对点系统延迟,然后再进行优化。

也许你需要在任何给定的时间内预测几个未来的时间点。这里有一些例子可以解释为什么需要这样做:

•有的对象有不同的端对端延迟。例如,带相机的手部跟踪器和头部跟踪可能有不同的延迟,但都需要在同样的场景中同步,所以预测跟踪需要不同的“向前看”的时间。

•在单一屏幕布局时---如手机屏幕---为双眼提供图像,通常情况下, 相对于另一只眼睛,映入在一只眼睛只有半帧(例如1/60秒的一半,大约8毫秒)。在这种情况下,最好给延迟的另一半屏幕使用提前8毫秒的预测跟踪。

以下是一些常用的预测跟踪算法的例子:

•航迹推算。这是一个非常简单的算法:如果位置和速度(或角位置和角速度)在给定的时间内是已知的,预测位置假设最终位置和速度是正确的,而且速度是相同的。例如,如果最后已知位置是100个单位,最后一个已知的速度是10单位/秒,因而未来10毫秒(0.01秒)内的预测位置100 + 10 x 0.01 = 0.01。虽然计算很简单,但它假定的是过去的位置和速度是准确的(例如,忽略各种噪音)且速度是恒定的。而这两个假设往往是不正确的。

•卡尔曼预测器。这是基于广受欢迎的卡尔曼滤波器设计的。卡尔曼滤波器是用来减少包含数学模型的操作系统中传感器噪声的。点击此处查看更多关于卡尔曼滤波器的详细解释。

•alpha-beta-gamma。ABG预测器与卡尔曼预测器密切相关,但并不是很通用且数学程式简单。我们可以从较高层面解释一下。ABG不断试图估计速度和加速度并使用这些数值进行预测。由于这些估测将实际数据考虑在内所以一些测量上的误差减少了。配置参数(α,β和γ)增强了反应与降噪能力。如果你想了解一下,请看这里:

关于AR和VR中的预测性追踪定位的原理分析和应用

总结
预测跟踪是一个有效且被广泛应用的减少明显的延迟的技术。它提供了简单的或复杂的操作,需要一些思考和分析,但确实是值得的。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2550

    文章

    51046

    浏览量

    753137
  • 预测
    +关注

    关注

    0

    文章

    37

    浏览量

    12354
  • vr
    vr
    +关注

    关注

    34

    文章

    9638

    浏览量

    150224
收藏 人收藏

    评论

    相关推荐

    VR/AR头盔里的可预测追踪技术你知道多少?

    在虚拟现实和增强现实系统环境,可预测追踪技术能够对某个对象或身体某一部位的下一步方向和(或)位置进行预测处理。给你举个例子,当你的头部朝着某个方向转动时,可以同步来
    发表于 05-03 10:00 2964次阅读

    2017国义乌国际VR/AR

    2017国义乌国际VR/AR展第23届义博会 2017.10.21-25 义乌国际博览中心 主办单位: 中华人民共和国商务部浙江省人民*** 中国国际贸易促进委员会中国轻工业联合会 中国商业
    发表于 03-16 17:37

    VR BOX out? AR BOX能否逆袭

    的估值比VR公司也高多了,其中最有代表的就是Magic Leap。从产品形态和便捷来看,AR也比VR要有优势很多,
    发表于 05-16 09:28

    CCS Insight最新预测VR/AR设备市场将达99亿美元

    ,尤其在智能手机端观看视频。”   在CCS Insight的预测AR智能眼镜也占有重要地位。正如Jijiashvil所说:“鉴于增强现实技术是智能手机中最热门的新技术领域之一,人们对增强现实眼镜
    发表于 04-20 09:27

    VRAR应用离不开5G支持 积淀方能迎来爆发

    ,进一步提升VR应用的交互和沉浸感,让VR技术从传统的娱乐行业向各垂直行业应用拓展。   VRAR应用离不开5G支持   “体验馆里
    发表于 11-02 09:23

    天线设计将提高AR/VR设备的性能

    关键的作用。2. 通过波束控制命中移动目标许多的 AR/VR 系统都希望用户有所动作 – 不仅仅是活动他们的头部和双手,还包括他们的双脚,需要移动步伐。在系统的一端或两端同时发生移动的过程
    发表于 11-30 14:05

    眼球追踪技术下一步该怎么发展?

    近年来巨头们都在积极布局眼球追踪技术,除了眼球追踪在人机交互的巨大潜能以外,眼球追踪技术还可能成为VRAR的基础
    发表于 10-15 06:52

    IDC FutureScape对中国AR/VR市场的预测

    IDC FutureScape对中国AR/VR市场的预测
    发表于 02-04 06:41

    VR/AR和MR的区别是什么?

    什么是虚拟现实? 什么是增强现实?什么是混合现实?VRAR的区别是什么?VR/AR和MR的区别是什么?
    发表于 06-01 06:54

    眼球追踪VR/AR技术带来的6大变化

    眼球追踪技术在消费端很早之前就已经应用在手机上,现如今,也有一些VR设备将这项技术融入其中,除了国内的七鑫易维、青研科技等之外,比如日本的FOVE、瑞典的Tobii等都在研究眼球追踪VR
    发表于 04-11 08:50 2982次阅读

    2019年VR/AR市场十大预测

    IDC发布2019年VR/AR市场十大预测 IDC认为,目前行业应用正在进一步展开和深入,细分领域消费场景不断得到丰富,VR终端市场逐渐向拥有更佳体验的中高端产品形态过渡,产业生态发展
    的头像 发表于 02-18 10:17 4816次阅读

    关于AR/VR行业的介绍和发展

    人类在与真实世界的互动,会用点头或摇头表示同意、赞赏、反对或无奈,会用手脚来执行大脑给出的指令。VR/AR呈现的虚拟世界,我们同样希望用身体来跟外部世界做自然的互动。所以,
    的头像 发表于 10-29 10:15 5939次阅读

    关于AR VR预测追踪定位分析介绍

    这是基于广受欢迎的卡尔曼滤波器设计的。卡尔曼滤波器是用来减少包含数学模型的操作系统传感器噪声的。点击此处查看更多关于卡尔曼滤波器的详细解释。
    的头像 发表于 08-23 09:57 2765次阅读
    <b class='flag-5'>关于</b><b class='flag-5'>AR</b> <b class='flag-5'>VR</b><b class='flag-5'>中</b>的<b class='flag-5'>预测</b><b class='flag-5'>性</b><b class='flag-5'>追踪</b><b class='flag-5'>定位</b><b class='flag-5'>分析</b>介绍

    浅析VR/AR头盔的可预测追踪技术

    在虚拟现实和增强现实系统环境,可预测追踪技术能够对某个对象或身体某一部位的下一步方向和(或)位置进行预测处理。
    发表于 01-24 09:20 761次阅读
    浅析<b class='flag-5'>VR</b>/<b class='flag-5'>AR</b>头盔的可<b class='flag-5'>预测</b><b class='flag-5'>追踪</b>技术

    VR/AR头盔预测追踪技术的原理分析

    在虚拟现实和增强现实系统环境,可预测追踪技术能够对某个对象或身体某一部位的下一步方向和(或)位置进行预测处理。
    发表于 04-06 09:42 1342次阅读