识别与跟踪技术
在实现增强现实的过程中,需要对真实的场景和信息进行分析,生成虚拟事物信息。这两步看似简单,其实在实际进行过程中,需要将摄像机获得的真实场景的视频流,转化成数字图像,然后通过图像处理技术,辨识出预先设置的标志物。
识别出标志物之后,一标志物作为参考,结合定位技术,由增强现实程序确定需要添加的三维虚拟物体在增强现实环境中的位置和方向,并确定数字模板的方向。将标志物中的标识符号与预先设定的数字模板镜像匹配,确定需要添加的三维虚拟物体的基本信息。生成虚拟物体,并用程序根据标识物体位置,将虚拟物体放置在正确的位置上。这其中涉及到的识别跟踪和定位问题,是增强现实的最大的难题之一。
要实现虚拟和现实事物的完美结合,必须确定虚拟物体在现实环境中准确的位置,准确的方向,否则增强现实的效果就会大打折扣。而在现实环境中,由于现实环境的不完美性,或者称为复杂性,增强现实系统在这种环境下的效果远不如在实验室的理想环境中。由于现实环境中的遮挡,未聚焦,光照不均匀,物体运动速度过快等问题,对增强现实的跟踪定位系统提出了挑战。
如果不考虑与增强现实进行交互的设备,其主要实现跟踪定位的方法有如下两种:
图像检测法
使用模式识别技术(包括模板匹配,边缘检测等方法),识别获得的数字图像中预先设置的标志物,或是基准点,轮廓,然后根据其偏移距离和偏转角度计算转化矩阵确定虚拟物体的位置和方向。
这种方法进行跟踪定位不需要其他的设备,而且精确度较高,因此是增强现实技术中最常见的定位方法。在模板匹配时,系统会预先存储好多种模板,来和图像中检测到的标志物匹配来计算定位。简单的模板匹配可以提高图像检测的效率,因也为增强现实的实时性提供了保障。通过计算图像中标志物的偏移和偏转,也能够做到三维虚拟物体的全方位观察。模板匹配一般用于对应特定图片三维成像,设备通过扫描特定的图片,将这些图片中的特殊标志位与预先存储的模板匹配,即可呈现三维虚拟模型。比如汽车店的车模卡片,玩具公司的人物卡片,都可以用模板匹配来进行增强现实。边缘检测可以检测出人体的一些部位,同时也可以跟踪这些部位的运动,将其与虚拟物体物体无缝融合。比如,真实的手提起虚拟的物体,摄像机可以通过跟踪用户手的轮廓,运动方式来调整虚拟物体的方位。因此,许多商场的虚拟商品实用,多会使用边缘检测。
虽然图形检测法简单高效,但也有其不足的地方。图像检测发多用于相对理想的环境以及近距离的环境,这样获得的视频流和图像信息会清晰,易于进行定位计算。而如果在室外环境中,光线的明暗,物体的遮挡,以及聚焦问题,使得增强现实系统不能很好的识别出图像中的标志物,或是出现和标志物相似的图像,这样都会影响增强现实的效果。而此时,就需要其他跟踪定位方法的辅助。
全球卫星定位系统法
这种方法是基于详细的GPS信息进行跟踪和确定用户的地理位置信息。当用户在真是环境中行走时,可以利用这些定位信息和用户摄像机的方向失误,增强现实系统能将虚拟信息和虚拟物体精确的低价到环境景物以及周围的人物之上。目前由于智能设备的普及,智能手机的广泛应用,而又由于智能手机具有支持基于GPS定位法的增强现实系统的基本组件:摄像机,显示屏,GPS功能,信息处理器,数字罗盘等,并把它们集成为一体,因此这种跟踪定位法多用于这种智能移动设备上。一种称为增强现实浏览器的应用程序,主要就是应用这种方法。增强现实浏览器能够在智能手机上运行,它可以连接互联网,搜索相关的信息,然后让用户在真实的环境看到相关的信息。增强现实浏览器能够可以让用户了解到摄像机方向的几乎所有事物的信息,比如找到一家距离很近但是被遮挡住的餐厅,或是获取用户对一家咖啡馆的评价。
这种定位方式适合于室外的跟踪定位,可以克服在室外环境中,光照,聚焦等不确定因素对图像检测法造成的影响。
其实在增强现实系统实际运用的环境中,往往不会用单一的定位方法来定向定位。比如增强现实浏览器也会运用图像检测法来检测一些特定的符号,例如QR码。识别出QR码在进行模板匹配,即可为用户提供信息。
现实技术
当前的增强现实主要有如下三种显示技术:1、移动手持显示。2、视频空间显示和空间增强显示。3、可穿戴式显示。
智能手机通过相应的软件实时取景并显示叠加的数字图像,这就是移动手持式显示器的一般工作情况。同时现在平板电脑不断增加功能以及比智能手机更大的屏幕,也是的其日益流行。
手持增强现实标志物,通过网络摄像机在食品窗口或是显示器上显示虚拟叠加的图像,就是视频空间显示方式。带有增强现实功能的贺卡,既是用这种方式显示的。用户在收到贺卡后,登录相应的网站系统,用网络摄像机对准贺卡,用户即可从显示屏上得到贺卡内所存储的信息形成的虚拟物体和视频。而空间增强显示技术,则是利用把包括全息投影在内的视频投影技术,直接将虚拟数字信息显示在真实的环境之中。这种技术的系统不同于一般的增强现实系统,只适合于个人使用,而是能想增强现实与周围环境相结合,不仅仅限于单个用户。这种技术适用于大学或者图书馆,可以同时为一群人提供增强现实信息。也可以将控制组件投影到相应的实体模型上,方便工程师的交互操作。
可穿戴式显示器是一种可以戴在用户头上的类似眼镜的头盔显示器。我们熟知且期待的google glass正式这一类型的。可穿戴式显示器一般有一道两个内嵌镜头和半透明镜的小型显示器,在飞行仿真,工程设计以及教育训练等多个领域都有广泛的运用。头戴式设备可以让用户更加自然地体验增强现实,并且能够为用户提供更大的视场,给予用户更强,更真实的“身在该处”的感觉。
交互技术
最基础的增强现实人机交互就是用户查看虚拟数据。除此之外,还有一下一些交互技术
触觉接口交互
通过数字信息提供身体触感来进一步实现虚实结合。比如,可触碰的虚拟光球,可以在虚拟的碗上绘画的幻影笔。
协作式接口交互
使用多个显示器来支持远程共享与交互或是同地协作活动。这种交互能够与多种应用软件集成,可用于医学领域的执行诊断和外科手术,或是设备维修等。
混合接口交互
组合多种不同但是功能互补的接口,使得用户能够通过多种方式的增强现实的内容进行交互。这种交互使得增强现实的交互更加灵活,可以用于数字模型的测试。
多模态接口交互
通过语言和行为的自然存在的形式与真实物体进行交互,比如,说话,触碰,自然手势,凝视等。多模态交互能让用户灵活的组合多种模态,更方便用户与增强现实系统的交互。
AR增强现实的技术支撑
基础3D模型
3D模型(静态或动态)是AR技术最基本的展现形式,比如动漫人物、建筑、展品、家具等。目前,国内AR行业正属于前期发展阶段,3D模型表现形式主要应用于AR初级移动app类产品。这种变现方式虽然是最基础的,但也是目前应用场景最广、开发成本最低、市场普及最好的产品。
视频
相对于简单的3D模型,酷炫的视频展示无疑更能博人眼球,在商业运营中,这种展示方式带来的经济效益会更好。比如,本来是普通的产品安装说明、菜单讲解、宣传单介绍,一旦应用AR技术,那么它就不再是一张平面的图片,而表现出立体形象了,表述也变得准确生动起来,有一种魔幻的感觉。在类似的场景应用中,AR技术都有巨大的市场空间可供挖掘拓展。在这里,需要提醒的是,利用AR技术实现视频播放并不难,难的是制作一段适合AR情景播放的宣传片,这就需要各位脑洞大开、细心雕琢了。
透明视频
初次看到的时候,感觉它更像是使用了超高清的3D人物模型,但严格的说,这是做了特殊处理的透明视频展示的效果。这种视频没有3D模型的高额成本,但却有逼真的演绎效果。如果在大型海报、宣传册、商场活动等场景中,设计好了,可是会有超级赞的效果。
场景展现
它可不是简单的一个个3D模型加上去就算完事了,场景展现虽然类似基础3D模型叠加,但实现起来要比单一3D模型复杂的多,场景里包含的更多,应用范围也更加广阔。比如娱乐、立体阅读、游戏等应用都会需要场景展现,当然这类场景的建设需要内容的支持。AR的场景展现不同于VR建造的全场景,AR场景展现是基于现实并与现实相互交错的,这也正是AR技术的迷人之处。
AR游戏
AR技术在游戏方式方面也带来了巨大的革新。目前像《Pokemon Go》、《小龙斯派罗》、《幻实新英雄卡》等,都是非常不错的AR游戏。想象一下,往后的游戏不再需要复杂的场景建模,而是在真实的世界里游戏,同时在真实的世界里又能出现许多虚拟叠加进去的事物,这是一种多么棒的体验!游戏也能摆脱场地与空间的束缚,可以随时随地开始。
VR结合
AR与VR技术共同丰富着我们的现实世界,AR技术旨在增强我们所处世界的内容,而VR技术则是将我们的注意力从现实中转移到一个虚拟的空间。AR和VR要是相结合起来,相信会有更好的体验,比如有了VR设备+AR显示,你也不在需要导游或者讲解员了,借助VR,让AR所反馈出来的增强信息会实时地出现在你所聚焦的物体旁边,告诉你这是什么,甚至还会告诉你关于它的详细信息。未来像这样的结合还可以体现在导航、医疗等领域。
大屏互动
大屏互动作为AR技术展现的延伸,其表现效果也是很让人惊喜的,主要应用于商场、博物馆、体验馆、大型活动(演唱会)等。大屏互动,简单来讲就是AR技术加投影,营造更为真实、震感的场景和氛围。
-
Ar
+关注
关注
24文章
5096浏览量
169642 -
3D模型
+关注
关注
1文章
72浏览量
15734
原文标题:AR增强现实技术全解读
文章出处:【微信号:WW_CGQJS,微信公众号:传感器技术】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论