使用NVIDIA Omniverse空间流式传输在XR中体验数字孪生

空间计算体验正在深入改变我们与数据交互的方式，通过扩展现实（XR）和数字孪生等技术打通物理世界与数字世界。这些进步让我们能够以更加直观和沉浸式的方式分析和理解复杂的数据集。

本文将介绍开发者现在如何在沉浸式环境中使用基于通用场景描述（OpenUSD）的 NVIDIA Omniverse 数据集，将理解和洞察提升到新的水平。

独特的混合渲染解决方案

创建沉浸式空间体验存在特有的困难。通常情况下，XR 设备无法以逼真、沉浸式体验所需的详细程度渲染复杂的数据集。硬件方面的限制会导致保真度降低，难以保留复杂的细节。为了解决这些困难，NVIDIA 在 CES 2025 上宣布，Omniverse 平台现已加入适用于 Omniverse 数字孪生工作流的空间流式传输，从而实现视觉保真度和性能皆无可比拟的 XR 体验。埃森哲、Innoactive 和 Katana 已开始将该工作流集成到其现有的空间工作流中。

该混合渲染工作流使用 NVIDIA RTX GPU 和 NVIDIA 图形交付网络（GDN）将本地渲染和云端渲染相结合。这种方法既能保证高质量的沉浸式体验，又能减轻本地设备的压力。开发者现在可以将基于 OpenUSD 的高保真 Omniverse 数字孪生传输到 Apple Vision Pro。

图 1. 适用于 Omniverse 数字孪生工作流的空间流式传输实现了视觉保真度和性能皆无可比拟的 XR 体验。

设置空间流式传输

按照以下步骤，使用 Omniverse 平台和 Apple Vision Pro 构建自己的混合渲染应用和传输沉浸式体验。

01创建 Omniverse Kit 应用

首先创建一个 Omniverse Kit 应用。它将作为数据集的服务器，处理计算密集型渲染任务。

02添加 XR 扩展

通过加入 XR 扩展捆绑包实现空间流式传输，这能够简化设置并确保加入所有必要的组件。

03构建并运行 Kit 应用

构建并运行 Kit 应用，以验证其是否能够正确处理和传输数据。

04设置客户端项目

打开 Mac 上的 Xcode 并配置客户端项目。这将在Apple Vision Pro 上呈现最终视觉效果。

05使用 Apple Vision Pro 模拟器进行测试

使用 Xcode 中的 Apple Vision Pro 模拟器进行测试和调试，无需现实的耳机。

06配置示例项目

调整提供的示例项目，以便与您的特定数据集配合使用。默认配置使用 Purse USD 数据集作为参考。

07连接到 Omniverse 服务器

最后，将客户端项目连接到 Omniverse 服务器，并通过 Omniverse 中的 ActionGraph Logic 管理两者之间的通信。

设置空间流式传输的主要注意事项

设置空间流式传输环境需要几个组件，详情如下。

作为服务器的 Kit 应用：用于处理渲染任务，减少本地硬件压力，确保运行的流畅。

XR 扩展：简化开发并最大程度地减少设置错误。

提前构建和运行：在继续下一步操作前发现服务器设置中的潜在问题。

Xcode 客户端项目：管理服务器与本地设备之间的无缝通信

模拟器测试：通过消除对物理硬件的依赖，加快开发速度。

示例项目：为定制特定数据集提供了一个强大的起点。

确保性能的最佳实践

优化渲染

通过最大程度地减少延迟和优化网络状况确保最佳性能，这样可以最大限度地提高空间体验的响应速度和质量。

照明和内容

坚持采取照明和内容设计的最佳实践，以实现视觉效果惊艳的逼真环境，提高用户的参与度。

混合渲染的优点

使用 NVIDIA 混合渲染工作流传输沉浸式体验具有显著的优势：

高保真视图：在不影响质量的前提下保全数据集的保真度。现在已经可以渲染出大型企业数据集中的复杂细节并传输到 Apple Vision Pro 的高分辨率显示器上。

性能和响应速度：云 GPU 可渲染更复杂的数据集、处理更多 AI 工作流并且可以扩展到同时连接多个用户。

节约成本和能源：利用扩展自如的云资源降低成本和能耗。

可访问性：无需昂贵、功能强大的工作站，即可实现沉浸式数字孪生体验。这能够推动高质量 XR 应用的普及化。

可持续性：由于依靠的是数字模型而非物理原型，因此可以减少材料浪费和生产成本。例如，数字渲染最多可为每个项目节省 9000 美元。

充分发挥 Apple Vision Pro 的性能：充分利用高分辨率显示屏、空间音频等先进功能特征，提供无可比拟的用户体验。

下一步

现在就开始使用适用于 Omniverse 数字孪生的空间流式传输。