使用NVIDIA Omniverse ACE构建云本地AI驱动的虚拟形象

云中 AI 驱动的化身

数字助理和化身可以有很多不同的形式和形状，从普通的文本驱动聊天机器人到完全动画的数字人和可以看到和听到人的物理机器人。这些化身将填充虚拟世界，帮助我们创建和构建东西，成为品牌大使和客户服务代理，帮助您在网站上找到东西，在驾车途中接受订单，或推荐退休或保险计划。

一个实时交互式 3D 化身可以提供一种自然、迷人的体验，让人们感觉更舒适。基于人工智能的虚拟助理还可以使用非语言提示，如面部表情和眼神交流，以加强沟通，了解您的请求和意图。

但大规模构建这些化身应用程序需要广泛的专业知识，包括计算机图形、 AI 和 DevOps 。当前大多数动画化身的方法都利用传统的运动捕捉解决方案，这对于实时应用来说是一个挑战。

尖端的 NVIDIA AI 技术，如 Omniverse Audio2Face 、 NVIDIA Riva 和 NVIDIA Metropolis ，通过使虚拟形象的运动由音频和视频驱动，改变了游戏。将角色动画直接连接到化身的会话智能，可以更快、更容易地大规模设计和部署交互式化身。

创建化身时，还必须将其集成到应用程序中并进行部署。这需要强大的 GPU 来驱动复杂 3D 角色的渲染和将其带入现实生活的 AI 智能。单片解决方案针对特定端点进行了优化，而云本地解决方案在所有端点（包括移动、 web 和有限的计算设备，如增强现实耳机）上的可扩展性更强。

NVIDIA Omniverse 虚拟化身云引擎（ ACE ）通过交付所有必要的 AI 构建块，大规模地将智能化身变为现实，从而帮助解决这些挑战。

Omniverse ACE 和 AI 微服务

Omniverse ACE 是一个云本地 AI 模型和微服务的集合，用于轻松构建、定制和部署智能化和参与性化身。这些 AI 微服务为交互式化身的后端提供动力，使这些虚拟机器人能够看到、感知、智能对话，并向用户提供建议。

Omniverse ACE 使用 Universal Scene Description （USD） 和 NVIDIA Unified Compute Framework （ UCF ），这是一个完全加速的框架，使您能够将优化和加速的微服务结合到实时 AI 应用程序中。

每个微服务都有一个有限的域上下文（动画 AI 、对话 AI 、视觉 AI 、数据分析或图形渲染），可以从 UCF Studio 独立管理和部署。

AI 微服务包括以下内容：

动画 AI： Omniverse Audio2Face 简化了 3D 角色的动画，以匹配任何音轨，帮助用户为游戏、电影或实时数字助理制作角色动画。

对话 AI： 包括语音 AI 的 NVIDIA Riva SDK 和自然语言处理的 NVIDIA NeMo Megatron 框架。这些工具使您能够快速构建和部署提供高精度、富有表现力的声音和实时响应的尖端应用程序。

视觉 AI： NVIDIA Metropolis 为个人开发者、高等教育和研究以及企业提供了从模型开发到部署的计算机视觉工作流。

推荐 AI： NVIDIA Merlin 是一个开源框架，用于大规模构建高性能推荐系统。它包括简化推荐程序构建的库、方法和工具。

NVIDIA UCF 包括经验证的部署就绪微服务，以加速应用程序开发。从应用程序中抽象出每个域，减轻了对低级域和平台知识的需求。可以使用 NVIDIA SDK 创建新的和自定义的微服务。

注册以获得有关 UCF Studio Early Access program 的通知。

没有用于云部署的代码设计工具

应用程序开发人员将能够使用 NVIDIA UCF Studio 将所有这些基于 UCF 的微服务整合在一起，这是一种无代码应用程序构建工具，用于创建、管理应用程序并将其部署到私有或公共云。

设计可视化为微服务处理管道的组合。使用拖放操作，您可以快速创建和组合这些管道，以构建功能强大的应用程序，其中包含不同的 AI 模式、图形和其他处理功能。

图 2.使用 Omniverse ACE 构建的化身 AI 工作流管道示例

内置设计规则和验证是 UCF Studio 开发环境的一部分，以确保在其中构建的应用程序在构造上是正确的。完成后，应用程序可以打包到支持 NVIDIA GPU 的容器中，并使用 Helm 图表轻松部署到云中。

建造 Violet ， NVIDIA Tokkio 化身

NVIDIA Tokkio 在 GTC 主题演讲中展示，代表了使用 Omniverse ACE 开发虚拟形象的最新进展。在 demo 中，黄仁勋介绍了 Violet ，这是一个基于云的交互式客户服务化身，完全自主。

Violet 是使用 NVIDIA Tokkio 应用程序工作流开发的，该工作流使交互式化身能够智能地查看、感知、交谈，并提供建议以增强在线和餐厅、商店等地方的客户服务。

虽然用户界面和特定的 AI 微服务组件将在 UCF Studio 中继续完善，但如何创建化身 AI 工作流管道并部署它的核心过程将保持不变。您将能够快速选择、拖放和切换微服务，轻松定制您的头像。

首先是一个装备齐全的化身和一些在 Omniverse 中渲染的基本动画。使用 UCF Studio ，您可以选择必要的组件使 Violet 角色具有交互性。这个例子包括 Riva 自动语音识别（ ASR ）和文本到语音（ TTS ）功能，使她能够听和说， Omniverse Audio2Face 提供必要的动画。

然后，将 Violet 连接到食品订购数据集，使她能够处理客户订单和查询。完成后， UCF Studio 会生成一个 Helm 图表，该图表可以通过一系列 CLI 命令部署到 Kubernetes 集群上。现在，紫罗兰化身正在云中运行，可以通过基于 web 的应用程序或物理食品服务亭进行交互。

接下来，更新她的语言模型，以便她能够回答与食物订单无关的问题。 NVIDIA Tokkio 应用程序框架包括使用 NVIDIA NeMo Megatron 构建的可定制预处理自然语言处理（ NLP ）模型。她的语言模型可以通过返回 UCF Studio 并更新推断设置来更新，在这种情况下，可以更新为预先部署的 Megatron 大型语言模型（ LLM ）微服务。 Violet 已经重新部署，现在可以回答更广泛的开放领域问题。

Omniverse ACE 微服务还将支持在第三方引擎中呈现的化身。您可以切换出 NVIDIA Tokkio 管道正在驱动的化身。回到 UCF Studio ，替换 Omniverse Audio2Face 的当前微服务输出，以驱动使用 Epic’s MetaHuman in Unreal Engine 5 创建的虚拟形象 UltraViolet 。

关于作者

Stephanie Rubenstein 是 NVIDIA 的产品营销经理，负责推动整个开发人员网络采用 XR SDK 。她拥有近十年的经验，帮助早期初创企业和 Facebook 等全球公司成功构建并推出了跨增强现实、云计算和开源的创新产品。

Alex Qi 是英伟达 AI 软件集团的产品经理。她的重点是对话 AI 框架（ Riva ）和多媒体流 AI / ML （ Maxine ）的 AI 软件和应用程序。在加入 NVIDIA 之前，她在领导技术和工程组织中各种角色的具有挑战性的技术项目方面拥有丰富的经验，如数据科学家、计算建模和设计工程。

审核编辑：郭婷