0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

比Vision Pro还强?空间计算新品频出,2D内容空间化,VST 14ms低延迟

Monika观察 来源:电子发烧友 作者:莫婷婷 2024-07-04 00:09 次阅读

电子发烧友网报道(文/莫婷婷)2023年,苹果发布Vision Pro,带火了“空间计算”一词。无独有偶,AR智能眼镜也有了自己的“空间计算”。当然,不仅仅是AR智能眼镜,MR头显市场或许也能在Vision Pro的影响下,迎来新的发展格局。


行业进入空间计算机市场爆发前夕
那么,什么是空间计算?空间计算利用空间感知和环境感知技术,将数字信息与物理空间相结合,创造出一种与现实世界更加融合的交互体验。在三维的世界里,用户可以感受到沉浸式的体验。

业内人士认为,移动互联网的下半场,正是空间计算机的上半场。在空间计算时代,信息的载体也从以往的智能手机转向空间计算设备,包括具备空间计算能力的MR、VR、AR设备。

在MR、VR、AR设备中,未来会如何发展呢?在前期的发展阶段,XR市场玩家多元化,没有统一的技术路径,整个行业属于百家争鸣的局面。当前业内有两种不同的技术路径,一是首先是满足功能和性能,然后再往轻便的方向发展。二是首先选择轻便,再往满足功能和性能的方向发展。

玩出梦想科技创始人黄锋认为,空间计算不可能是个三角,难以同时满足功能、性能、舒适性这三个条件。这也很容易理解,就连Vision Pro也仅仅只是实现了功能和性能这两个条件,由于在设备上集成了CPU、摄像头、传感器、高清显示屏等多个先进元器件,在舒适性上还不能完成达到100分。

XR市场经过近几年快速的发展,处理器光学显示、传感器、通信等关键技术都得到了快速发展,业内人士认为,行业正处于空间计算机市场爆发前夕,正由“真实视觉体验和MR”向“全面沉浸和可穿戴”过渡阶段,后者将在2027年到来,到2037年进入空间计算与机器人融合阶段。


基于VST、OST技术路径,MR、AR品牌推出空间计算新品
当前,不管是MR头显市场还是AR智能眼镜市场,都迎来了各自的空间计算产品,包括玩出梦想MR,Rokid AR Lite,XREAL Beam Pro。这三大产品都有各自的特点以及技术优势。

当前,空间计算的产品路线包括VST(视频透视)、 OST(光学透视)两种。VST是以苹果为代表的,依赖于摄像头等传感器和芯片,通过计算机图像技术呈现出来。OST是以Rokid等厂商为代表的路线,直接通过放置在眼前的半透明光学合成器看到的,再将数字内容叠加在物理世界来实现空间计算体验。

这两种产品路线各有优劣势。财通证券研究所的数据指出,VST虚实亮度易匹配,且虚实匹配一致,FOV在90°-120°之间,因为存在多方优势是当前空间计算的主流方案。而OST一般用于AR智能眼镜,在亮度、分辨率等方面具有优势,不过OST受限于光学技术,随着技术的发展,有望成为下一代的主流方案。

摄像头是VST的核心硬件。从玩出梦想的官方介绍来看,玩出梦想MR通过搭载了11颗摄像头、7 类传感器、22颗红外补光灯为空间计算效果的实现打下基础。那么,玩出梦想MR是如何打造空间计算的沉浸式体验呢?

首先从产品形态来看,玩出梦想MR是最接近苹果Vision Pro的产品,官方在发布会上也将多项指标与Vision Pro进行对比。根据官方的介绍,在硬件上,玩出梦想MR搭载了高通骁龙XR2+ Gen2芯片,该芯片采用4nm制程,GPU性能提升2.5倍,AI性能表现提升8倍,GPU功耗比提升50%。

在感知单元,玩出梦想开发了3个基本模块:跟踪、绘图和视觉,增强了混合现实世界的多样性。用户可以体验混合现实应用程序、传统安卓应用程序和跨设备交互。此外,玩出梦想还开发了AI增强的发射器,使用户能够高效简洁地处理各种数字信息。

在跟踪模块上,玩出梦想MR前后累计搭载了11颗摄像头,22颗红外补光灯。通过多传感器融合+dToF,全面进行头部跟踪、手部跟踪。为了提高延迟和定位精度,玩出梦想开发了新算法,可以减少渲染延迟并执行精确的校准。头部跟踪的定位精度可以在20x10m的房间内达到亚厘米级,在直线场景中,头部跟踪的位置漂移率低于0.3%。针对手部追踪,玩出梦想MR引入了全新的手部运动大模型。
wKgaomaFI36Adyk8AAGm406SKNU628.png
不同于其他MR头显品牌,玩出梦想还提升了控制器跟踪算法的精度。同时,官方表示高精度的眼动追踪是该产品的标配。公司还在研究使用眼动追踪数据来解决瞳孔摆动问题,以增强视觉体验。

实现高质量的视觉体验对于MR至关重要,因此视觉模块要确保在3D空间中准确呈现数字内容,包括亮度、颜色等。玩出梦想 MR 的光学显示方案采用双目 8K Micro-OLED+Pancake 的方案。在PPD、像素、PPI等性能上接近Vision Pro甚至超过Vision Pro。例如双目 2700 万像素,PPI为3882,中心区域 PPD 达 45。
wKgZomaFI4WAVOlZAAEvZQU2Re4511.png
游戏是MR头显的核心娱乐之一,而时延是考验MR设备或者是AR智能眼镜游戏体验的关键。在实现高清晰度的同时,玩出梦想MR做到了VST 14ms低延迟。

与玩出梦想MR的空间计算技术路线不同,XREAL 的Beam Pro承载了空间计算能力,能够将2D应用释放到3D空间,且支持手机全生态内容空间化。例如看电影时,可以在APP选好影片,再将Beam Pro连接XREAL Air系列眼镜中,就能实现在眼镜中观影。除了娱乐,Beam Pro同样能够用于视频会议等办公室场景。

wKgaomaFI5CACDAjAAVWDzroEvQ780.png
XREAL Beam Pro(图源:XREAL)

空间计算的核心是物理世界与虚拟世界的结合。XREAL为Beam Pro打造了3D拍摄的功能,加入双目立体校正算法,让拍摄主体和背景的融入更加自然。

Rokid的 AR Lite包括Rokid Max2眼镜和Rokid Station2主机,基于环境感知、空间定位、交互识别等技术能力,该产品能够用在多个场景中。在娱乐功能上,用户还能与虚拟角色进行互动。在设计领域,用户还能在虚拟环境中进行设计产品、原型制作等。

在看电影等需要投屏的功能时,Rokid AR Lite和XREAL Beam Pro都优化了防抖功能。例如Rokid AR Lite在巨幕模式下可以开启运动模式,实现逐帧追踪防抖。XREAL Beam Pro机身侧面设置了物理按键,可以一键切换3DoF悬停/云台防抖功能。

为了进入空间计算时代,MR设备厂商和AR设备厂商选择各自的技术路线,并在差异化的基础上推出自己的产品。在AR设备市场,XREAL选择以Beam Pro作为入口,打造了新的便携式空间娱乐计算设备。Rokid则持续升级 Station系列,赋能其更强大的空间计算能力。而对于沉寂多时的MR设备行业,苹果Vision Pro的出现,也给同行带来了新的灵感。可以期待的是,接下来会有更多厂商推出“空间计算”产品,整个行业也会更加热闹。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 2D
    2D
    +关注

    关注

    0

    文章

    63

    浏览量

    15156
  • VisionPro
    +关注

    关注

    6

    文章

    19

    浏览量

    15631
  • MR
    MR
    +关注

    关注

    2

    文章

    334

    浏览量

    43300
  • Vision
    +关注

    关注

    1

    文章

    195

    浏览量

    18057
  • VST
    VST
    +关注

    关注

    0

    文章

    17

    浏览量

    10954
  • 空间计算
    +关注

    关注

    0

    文章

    8

    浏览量

    32
收藏 人收藏

    评论

    相关推荐

    苹果发布visionOS 2,引领Apple Vision Pro迈入全新空间计算时代

    9月17日,科技巨头苹果公司宣布了一项革命性的更新——visionOS 2操作系统的正式发布,为全球Apple Vision Pro用户解锁了前所未有的数字互动与空间
    的头像 发表于 09-18 16:17 581次阅读

    INAIR发布新款AR空间计算机INAIR 2

    科技前沿再添新军,INAIR近期震撼发布了其最新款AR空间计算机——INAIR 2。这款集AR眼镜与空间计算主机INAIR Pod于一体的创
    的头像 发表于 08-12 16:09 587次阅读

    苹果Vision Pro空间计算头显获黑铅笔奖,出货或已调整

     据5月26日报道,苹果公司于去年WWDC展会上展示的空间计算头显Vision Pro已于近日在美开售,售价高达3499美元(折合人民币约25368元)。
    的头像 发表于 05-27 14:16 433次阅读

    苹果拟增加Vision Pro头显用户自拍空间视频功能

    外国科技媒体9to5Mac在最新版本的iOS 17.5 Beta 2中发现了名为“VPG Photos Retail Experience”的内部系统。该系统可让用户将个人拍摄的空间视频导入至苹果商店的Vision
    的头像 发表于 04-17 14:35 471次阅读

    iPhone15 Pro采用独特算法,创新空间视频拍摄体验

    此项拍摄空间视频功能只适用于iOS 17.2或更高版本的iPhone 15 Pro及iPhone 15 Pro Max两款手机型号。用户可将这款全新的VR终端——Apple Vision
    的头像 发表于 04-16 10:45 616次阅读

    苹果Vision Pro隐私保护限制制约创意空间

    据悉,Vision Pro的开发者无法直接接触到摄像头数据,他们只能调用“周遭环境数据”。这项数据通过摄像头和激光雷达合成,构成三维环境模型。
    的头像 发表于 04-09 11:39 218次阅读

    苹果Apple Vision Pro新增Beta版空间角色支持,支持至多5人协同

    据9to5mac透露,此新品功能将在今日稍后时间内对已安装visionOS 1.1及以上版本的苹果Vision Pro客户上线。在进行FaceTime通话时,移动设备用户可选择启用空间
    的头像 发表于 04-03 11:26 328次阅读

    苹果Vision Pro空间计算设备一月试用报告:重量分布不均,续航有待提升

     纽约州新泽西居民阿里什·赛义德·伊沙奇博士近期成为纽约市首批获得苹果新品空间计算设备Vision Pro的消费者之一,并发表一篇专访,阐述
    的头像 发表于 03-04 16:48 709次阅读

    Dear Reality 发布 dearVR PRO 2 空间效果插件

    空间音频专家 Dear Reality 为其广受欢迎的 dearVR PRO 空间效果插件推出了新一代产品 dearVR PRO 2,添加了
    的头像 发表于 03-01 11:07 646次阅读
    Dear Reality 发布 dearVR <b class='flag-5'>PRO</b> <b class='flag-5'>2</b> <b class='flag-5'>空间</b>效果插件

    gis空间分析包括哪些内容

    GIS(地理信息系统)空间分析是指通过使用GIS软件和方法,对地理空间数据进行处理、分析、建模和展示的过程。它结合了地理学、数学、计算机科学和统计学的原理和方法,在解决地理问题和支持决策过程中
    的头像 发表于 02-25 13:50 1664次阅读

    Vision Pro 发售只是开始,这两个问题才是决定行业成败的关键

    内容资源的价值。相信随着更多硬件设备的普及,ALVA 空间计算软件将迎来更加广阔的应用空间。 或许 Apple Vision
    发表于 02-22 13:53

    Vision Pro有了,谁是空间计算时代的“安卓机皇”?

    • 苹果Vision Pro的发售,为空间计算平台赋予完美定义:“VR+VST”的技术路线与不低于“8K”的视觉体验; • 以“Pimax
    的头像 发表于 02-04 18:43 339次阅读
    <b class='flag-5'>Vision</b> <b class='flag-5'>Pro</b>有了,谁是<b class='flag-5'>空间</b><b class='flag-5'>计算</b>时代的“安卓机皇”?

    苹果Vision Pro头显预售在即,传感器能否迎来新风口?

    时,并没有将其定义为“元宇宙”设备,而是提出了一个新的“空间计算”概念。通俗理解,空间计算的核心是将虚拟世界与现实空间进行融合,在XR(VR
    的头像 发表于 01-22 09:23 380次阅读

    2D与3D视觉技术的比较

    作为一个多年经验的机器视觉工程师,我将详细介绍2D和3D视觉技术的不同特点、应用场景以及它们能够解决的问题。在这个领域内,2D和3D视觉技术是实现自动
    的头像 发表于 12-21 09:19 1055次阅读

    利用搭载全域硬2D NoC的FPGA器件去完美实现智能所需的高带宽延迟计算

    在该FPGA器件的外围,这个硬2D NoC连接到所有高速接口:包括多个400G以太网、PCIe Gen5、GDDR6和DDR4/5端口。这使得Achronix的Speedster7t成为了业界第一款
    的头像 发表于 11-24 16:19 384次阅读