NVIDIA 近日公布了 NVIDIA Avatar Cloud Engine(ACE)的一系列技术,增强了 AI 虚拟形象和数字人的真实感和可访问性,这些新的动画和语音功能实现了更自然的对话和情感表达。
开发者现在可以使用新的云 API 在应用中轻松实现和扩展智能虚拟形象,包括自动语音识别(ASR)、文本转语音(TTS)、神经机器翻译(NMT)和 Audio2Face(A2F)。
借助这些高级功能,抢先体验计划的创作者可以利用 NVIDIA 技术快速构建新一代虚拟形象体验。现在,使用 Unreal Engine 5 等一些热门渲染工具,可以更轻松地在任何地方大规模构建和部署数字人。
AI 驱动的情感动画
用户可使用最新的 ACE AI 动画功能和微服务(包括新添加的 A2F 情感支持)构建更具表现力的数字人,现在还提供用于身体、头部和眼球运动的 Animation Graph 微服务。
对于使用云来处理渲染生产或寻求进行实时推理的开发者,现在有了易于使用的微服务。A2F 的质量改进包括嘴型同步,可为数字人带来更多的真实感。
![wKgZomV8BleAIMjEAAECxiUeNCk281.png](https://file1.elecfans.com//web2/M00/B7/6A/wKgZomV8BleAIMjEAAECxiUeNCk281.png)
图 1. NVIDIA ACE 端到端开发套件
增强的 AI 语音功能
现在支持的语言包括意大利语、西班牙语、德语和普通话,ASR 技术的整体准确性也得到了提高,ASR、TTS 和 NMT 的云 API 简化了对最新语音 AI 功能的访问。
无论用户是想使用自己的语音将自定义语音应用到智能 NPC,还是在视频会议通话中随机化用户的语音,新的 Voice Font 微服务都能让用户自定义 TTS 输出。这项技术可将说话者的独特音调和音量转换为参考音频,同时保持相同的节奏和声音模式。
新工具和框架
ACE Agent 是一家专业的对话管理和系统集成商,它能够提供更加流畅的端到端体验,并高效地协调微服务之间的连接。开发者还可以利用与 NVIDIA Omniverse 平台的集成,通过 NVIDIA NeMo Guardrails、NVIDIA SteerLM 和 LangChain 来更好地控制精确且可调节的响应。
现在,可以更轻松地在用户选择的渲染器或编码环境中启动和运行这些工具。新功能包括:
-
在 Avatar 配置器中支持 Blendshape,以轻松集成 Unreal Engine 等热门渲染器。
-
面向 Python 用户的全新 A2F 应用程序。
-
一款参考应用程序,适用于有兴趣为客户服务构建虚拟助理的开发者。
总结
这些新推出的 NVIDIA ACE 功能提高了数字人体验的质量标准。借助简化构建和部署的增强功能,开发者现在可以获得构建新一代数字人应用所需的简化配置。
想要探索尖端数字人技术?点击“阅读原文”,申请 NVIDIA ACE 抢先体验。
GTC 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行,线上大会也将同期开放。扫描下方海报二维码,立即注册 GTC 大会。
原文标题:在 NVIDIA ACE 中使用 AI 动画和语音功能打造逼真的虚拟形象
文章出处:【微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。
-
英伟达
+关注
关注
22文章
3527浏览量
89074
发布评论请先 登录
相关推荐
在NVIDIA Holoscan SDK中使用OpenCV构建零拷贝AI传感器处理管线
![<b class='flag-5'>在</b><b class='flag-5'>NVIDIA</b> Holoscan SDK<b class='flag-5'>中使</b>用OpenCV构建零拷贝<b class='flag-5'>AI</b>传感器处理管线](https://file1.elecfans.com/web2/M00/F6/FF/wKgZomaDeZiAMV_OAAAGm18i0wE070.png)
NVIDIA推出用于支持在全新GeForce RTX AI笔记本电脑上运行的AI助手及数字人
NVIDIA宣布全面推出 NVIDIA ACE 生成式 AI 微服务
NVIDIA发布数字人微服务,为制作生成式AI数字化身铺平未来之路
英伟达推出NVIDIA ACE服务,提供AI模型和微服务制作虚拟数字
AI克隆技术可用于创建虚拟人物形象!它的技术原理和发展趋势
![<b class='flag-5'>AI</b>克隆技术可用于创建<b class='flag-5'>虚拟人物形象</b>!它的技术原理和发展趋势](https://file1.elecfans.com/web2/M00/BB/4C/wKgZomWbQdCAE7z6AAOO1PC2eUk591.png)
NVIDIA Research 在 SIGGRAPH Asia 中展示如何使用生成式 AI 进行交互式纹理绘制
![<b class='flag-5'>NVIDIA</b> Research <b class='flag-5'>在</b> SIGGRAPH Asia 中展示如何使用生成式 <b class='flag-5'>AI</b> 进行交互式纹理绘制](https://file1.elecfans.com//web2/M00/B9/59/wKgaomWKpn2Acw69AETbGrxq8iA770.gif)
阿迪达斯与 Covision Media 使用 AI 和 NVIDIA RTX 创建逼真的 3D 内容
![阿迪达斯与 Covision Media 使用 <b class='flag-5'>AI</b> 和 <b class='flag-5'>NVIDIA</b> RTX 创建<b class='flag-5'>逼真的</b> 3D 内容](https://file1.elecfans.com//web2/M00/B3/5C/wKgZomVlxdqAbtw0AAeu-pTKfyE704.png)
完美世界游戏借助 NVIDIA Omniverse 等平台与技术,加速数字人开发并优化游戏画面
![完美世界游戏借助 <b class='flag-5'>NVIDIA</b> Omniverse 等平台与技术,加速数字人开发并优化游戏画面](https://file1.elecfans.com//web2/M00/A8/3A/wKgaomUsQ5aAPN6CAANRY1TixJ4641.png)
生成式AI如何帮助创建和编辑逼真的材质?
SIGGRAPH 2023 | Shutterstock 通过 NVIDIA Picasso 将生成式 AI 应用于 3D 场景
Avatar Day:Omniverse 和 NVIDIA ACE 助力交互式数字人全流程开发
![Avatar Day:Omniverse 和 <b class='flag-5'>NVIDIA</b> <b class='flag-5'>ACE</b> 助力交互式数字人全流程开发](https://file1.elecfans.com/web2/M00/90/5C/wKgaomTYlueAFJ5cAAB47t2icYc904.png)
评论