Nreal联合Clay AIR 新增手势追踪功能

2020年3月8日消息，Nreal宣布与Clay AIR合作，在Nreal Light上新增手势追踪功能，同时结合新的内容，强化与德国DT（Deutsche Telekom）等欧盟运营商的合作关系。

与Clay AIR合作，Nreal Light新增手势追踪功能

通常，手势追踪需要增加专用的手势追踪模块或者传感器才能实现，而随着计算机视觉的发展，使用普通2D摄像头，加上算法识别也开始能够实现较为精准的手势操作。Nreal不是第一款获得手势追踪功能的MR眼镜。微软的HoloLens 2和Magic Leap One都具有此功能，但这是第一款不借助深度传感器视线手势追踪的MR眼镜，就像Oculus Quest是第一款实现的移动VR头显一样。没有硬件获取深度信息的实时手部跟踪要困难得多，这需要先进的机器学习算法。

而Clay AIR，就是一家不需要增加深度摄像头等硬件模块，通过软件算法就能实现手势操作的软件公司。Clay AIR在2018年曾经与高通合作，为OEM提供关键交互技术，以加速AR&VR设备的采用。这是该公司在AR&VR头戴式显示器（HMD）中实现标准化手动跟踪功能的重要目标的一部分。据了解，通过Clay的软件算法，已经可以识别包括拿、捏、抓、轻扫等超过30种用户的手势动作，从而操纵虚拟物体，与MR环境更直观地进行交互。

基于Nreal Light上用于Slam的摄像头传感器，加上Clay AIR的软件算法，识别出用户的真实手部骨骼后，将3D手部模型以全高清方式进行叠加，并通过机器学习对用户手指和手部动作的实时变化进行跟踪和渲染。由于Nreal Light能够连接搭载高通骁龙855及以上平台的5G智能手机运行，不仅能够实时流畅地计算手势动作、对图形进行渲染，同时手机供电也确保了更强的电池续航能力。

据了解，手势识别功能将在近期通过Nreal SDK提供给开发者，应用在支持Nreal 3D系统星云的安卓应用程序中。通过Nreal SDK，开发人员可以进行手势追踪的自定义，包括重塑或渲染全手、单独的手指、边界框、光标或自定义外观，前期完全支持的手势包括捏、指向、抓取、滑动和缩放。

在MR体验中，手势操作被视为是最自然的交互方式，为了追求更流畅的用户体验，Nreal此次Clay AIR的手势追踪功能引入到Nreal Light上来，不仅能降低操作的学习门槛，还能提升用户体验的灵活性。

“通过提供手势追踪功能，Nreal为Nreal Light 消费者版的开发人员和用户提供了更大程度的灵活性，使其可以与MR环境进行交互。无论是手势追踪、5G智能手机控制、还是6DoF控制器、眼动追踪、语音交互等，事实上，我们并不认为其中单一一种方式是与MR交互的最佳方法，实际上可以同时包含多种控制选项。”除了手势追踪之外，日前Nreal与七鑫易维合作，宣布推出结合眼动追踪功能的Nreal Light眼镜。Nreal的首席执行官兼创始人徐驰说道：“我们希望为开发人员和用户提供多种选择，让他们自己来决定最适合的方法。”

Clay AIR的CRO Varag Gharibjanian也提到：“ 我们很荣幸参与了Nreal引发的革命，他们是消费者AR的领导者，我们期待与他们一起创新共同创建行业平台。”

“一款对于消费者友好的硬件，加上无缝的手势追踪和手势识别技术，是使AR在全球范围内实用化的必要催化剂。” Clay AIR首席执行官Thomas Amilien认为，双方合作关系的建立标志着拐点的出现。

在过去的十年中，许多公司都在推进AR眼镜在行业及消费端的应用，推动AR眼镜时代的来临，但实际上早期尝试的很多公司都失败了，包括Meta、ODG和Daqri。 Magic Leap曾经被认为是大众市场MR头显的最佳机会，但它也转向了更小但更成熟的行业市场发展。

相对而言，像Nreal这样的玩家有两个方面的优势。首先，AR眼镜是展示5G网络速度的一种引人注目的方式，如果可以远程传输大量数据，则可以通过轻量级硬件提供令人印象深刻的体验。其次，有传言称苹果将推出AR眼镜，这可能会增加该硬件形态成为主流的机会，同时也为该领域增加了一个强大的竞争对手。

强化与欧盟运营商合作，推动5G+AR应用

在增加Nreal Light功能的同时，Nreal也在积极推进其在欧洲的运营商合作伙伴网络，与英国EE合作之后又宣布与德国DT电信运营商建立了合作关系，向欧洲市场用户提供Nreal Light及5G定制应用。去年12月在高通公司的骁龙技术峰会上展示的AR Field Advisor是一种协作式机器/硬件远程修复应用程序，它将与Nreal Light的新5G游戏和娱乐内容一同加入Nreal的内容平台。

“我们相信混合现实将改变人们的工作、生活和互动方式。”德国DT产品创新和客户服务高级副总裁Omar Tazi说道， “混合现实是沉浸式娱乐未来的起点，Nreal在将该技术推向大众市场方面迈出了一大步。通过提供从边缘计算到最佳连接性的关键技术，再结合用于娱乐的最佳内容，例如音乐演唱会、体育赛事甚至是游戏，德国DT将与Nreal一起释放混合现实的全部潜力。”

在亚洲，Nreal通过在LG Uplus零售店以及日本KDDI直营店展示Nreal Light设备的举措，将MR带入了韩国、日本消费者的生活，并取得了长足的进步。

在CES 2020上，Nreal推出了其备受赞誉的3D MR系统“星云”，星云系统作为在MR环境中移植和显示2D原生安卓应用程序和交互式3D内容的方式，首次向消费者展示了一个多维的界面，该界面专门为Nreal Light上的MR环境设计，能够让用户获得更沉浸的体验。现在，通过与手势追踪相结合，MR开发人员和企业客户可以为用户构建更加身临其境且真正互动的MR应用程序。

日前，Nreal还与Spatial、高通、运营商合作，共同推动Spatial AR协作应用落地，该内容也将在不久后登陆星云系统。

Spatial的空间协作MR应用将为用户提供不受物理空间限制的远程协作解决方案。用户只需戴上Nreal Light眼镜，并将其连接在支持高通平台的5G智能手机上，运行Spatial应用即可体验首款针对MR平台推出的5G优化协作会议解决方案。