使用 OpenUSD 和数字孪生打造沉浸式活动

Moment Factory 是一家全球多媒体娱乐工作室。该工作室结合视频、灯光、建筑、音响、软件和交互等领域的专业技术，为世界各地的观众打造沉浸式体验。从现场表演、多媒体秀到互动装置，Moment Factory 凭借令人叹为观止和极具娱乐性的体验名声大噪，比如 Billie Eilish 的 Happier Than Ever 世界巡演中炫目的视觉效果、在全球各地自然景点举办的 Lumina Night Walks、AT&T Discovery District 的数字场景建设等。

Moment Factory 拥有一支 400 多人的专业团队，在蒙特利尔、东京、巴黎、纽约和新加坡设有办事处。该工作室已成为娱乐行业的领导者。

图 1. Moment Factory 负责 Billie Eilish 的 Happier Than Ever 世界巡演的创意指导、舞台设计和内容创作。

使用 OpenUSD 简化沉浸式体验开发

将这些体验变为现实需要庞大的团队，拥有不同专长的高技能专家各自使用着独特的工具。为了在高度复杂的制作流程中实现最佳的效率，Moment Factory 希望使用一种可互操作的开放数据格式和开发平台，以便无缝集成从概念到实施的所有环节。

Moment Factory 使用通用场景描述（OpenUSD）作为解决方案。OpenUSD 是一个用于在 3D 世界中进行描述、合成、仿真和协作的可扩展框架和生态系统。NVIDIA Omniverse 软件平台可以帮助团队开发基于 OpenUSD 的 3D 工作流和应用，它提供了一个统一环境，通过与 Moment Factory 工具的实时连接，实现数字孪生的实时可视化和协作。

利用 OpenUSD 与 Omniverse，Moment Factory 可以统一不同数字内容创建（DCC）工具的数据，构建真实世界环境的数字孪生。团队中的每个成员都可以与该数字孪生进行交互，并在不影响其他元素的情况下迭代自己负责的项目部分。

例如，场景设计师可以使用 3D 设计软件 Vectorworks 制作基本布局和独特的场景片段。同时，在同一场景中，视听和灯光设计师可以使用 Moment Factory 自主开发的现场娱乐操作系统和虚拟投影映射软件 X-Agora 处理灯光和投影仪。

艺术家和设计师可以同步使用 Epic Games 虚幻引擎、Blender 和 Adobe Photoshop 等工具在场景中渲染和创建吸睛的视觉效果，而且不会影响仍在进行中的项目层。

Moment Factory 创新团队的解决方案架构师兼项目负责人 Arnaud Grosjean 表示：“USD 的独特之处在于它可以被分割成更小的片段，使大家在保持连接的同时，能够各自处理项目中自己负责的部分。凭借其灵活性和互操作性，我们能够创建出强大的自定义 3D 管线。”

图 2. USD 场景由场地、场景设计、视听和来自不同数据源的传感器数据等无损层组成。

数字孪生模拟真实世界的体验

为了在沉浸式活动被部署到现实世界之前先对其进行模拟，Moment Factory 正在 NVIDIA Omniverse 中开发其装置的数字孪生。Omniverse 是一个计算平台，可帮助团队开发基于 OpenUSD 的 3D 工作流和应用。Omniverse 提供了一个统一环境，通过与 DCC 工具实时连接，实现数字孪生的实时可视化和协作。

他们创建的第一个数字孪生 Blackbox 是一个可以在部署到现实世界前预览沉浸式体验片段的实验和原型设计空间。从概念构思和设计到集成和运行，它几乎成为了项目生命周期每个阶段的关键空间。

为了构建 Blackbox 的数字孪生，Moment Factory 使用了基于 NVIDIA Omniverse 的完全可自定义基础应用 USD Composer。

图 3. 如右边屏幕所示，Blackbox 中的实时视频投影和灯光实时反映在其数字孪生中。

通过该装置的虚拟复制品，团队能够对项目进行无数次迭代，测试各项不同的因素。客户可以提前在虚拟环境中观看演出，因此该团队还可以更好地向潜在客户推销沉浸式体验的概念。

在构建大规模沉浸式体验的过程中，主要的挑战之一是在各利益相关方之间达成共识并处理好变化。

Grosjean 解释说：“每个人对场景的结构都有自己的想法，因此我们需要一种能够在一个统一、动态的环境中，协调每个项目贡献者的方法。有了数字孪生，我们就可以与各个核心专业领域的利益相关者一起测试和模拟潜在的想法。”

CAD 制图员、视听设计师、交互设计师等都为 Blackbox 的数字孪生做出了贡献，艺术家和 2D/3D 设计师可以渲染并尝试该沉浸式体验的实际效果。

开发 Omniverse 连接器和扩展程序

Moment Factory 不断开发和测试 Omniverse 的扩展程序，为其数字孪生带来新的功能和可能性。

他们为 X-Agora 开发了一个 Omniverse 连接器。X-Agora 是 Moment Factory 自主开发的一款多视窗软件，具有设计、规划和操作演出的功能。目前，该软件已能实现 Nucleus 连接、USD 导入/导出功能以及早期实时模式。

视频投影是沉浸式活动的关键要素。该团队经常尝试将视觉内容映射和投射到建筑表面、场景元素，有时甚至是移动物体上，从而将静态空间转化成充满动感的迷人环境。

NDI 是网络设计接口（Network Design Interface）的缩写，它是由 NewTek 开发的一种流行的 IP 视频协议，可在互联设备和系统之间实现高效的实时视频制作和流式传输。在沉浸式体验中，Moment Factory 通常使用视频线将媒体系统连接到物理投影仪。通过 NDI，他们就可以在虚拟场地内复制这种连接，以数字方式有效模拟整个体验。

为了实现 Omniverse RTX 渲染器与创意内容之间的无缝连接，Moment Factory 开发了一个用于 Omniverse 的 NDI 扩展程序。该扩展程序不仅支持视频投影，还使该团队能够模拟 LED 墙、屏幕和像素场，从而在数字孪生中反映现实世界中的布置。

使用 Omniverse Kit 开发的这一扩展程序还允许用户使用视频源作为动态纹理。Moment Factory 的开发人员使用 kit-cv-video-example 和 kit-dynamic texture-example 开发了该扩展程序。

任何人都可以在 GitHub 上访问和使用 Moment Factory 的 Omniverse-NDI-extension，并将其安装到 Omniverse Launcher 上或使用以下命令启动：

$ ./link_app.bat --app create
$ ./app/omni.create.bat --/rtx/ecoMode/enabled=false --ext-folder exts --enable mf.ov.ndi

Omniverse 中的扩展程序是可重复使用的组件或工具，开发者可利用它们加速 3D 工作流以及添加新功能。它们既可以用于随机化对象等简单任务，也可以用于实现可视化脚本等更加复杂的工作流。

该团队还开发了一个将 MPDCI（一种描述多投影仪设备的 VESA 标准）转换为 USD 的扩展程序——Omniverse-MPCDI-converter。团队目前正在测试 MVR（My Virtual Rig）和 GDTF（通用设备类型格式）转换器的扩展程序，以便将照明装置和设备导入数字孪生。

更引人注目的是正在开发中的激光雷达 UDP 模拟器扩展程序，它可以在 Omniverse 中实现传感器模拟，并将合成数据连接到激光雷达兼容软件。

点击“阅读原文”，了解更多关于NVIDIA Omniverse的信息并免费试用。

GTC 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行，线上大会也将同期开放。扫描下方海报二维码，立即注册 GTC 大会。

---

原文标题：使用 OpenUSD 和数字孪生打造沉浸式活动

文章出处：【微信公众号：NVIDIA英伟达企业解决方案】欢迎添加关注！文章转载请注明出处。