NVIDIA推出全新深度学习框架fVDB

在 SIGGRAPH 上推出的全新深度学习框架可用于打造自动驾驶汽车、气候科学和智慧城市的 AI 就绪型虚拟表示。

NVIDIA 在 SIGGRAPH 上推出了 fVDB，这是一种全新的深度学习框架，用于生成现实世界的 AI 就绪型虚拟表示。

fVDB 基于 OpenVDB 构建而成，OpenVDB 是一个行业标准库，用于仿真和渲染稀疏体积数据，例如水、火、烟和云。

生成式物理 AI（例如现实世界中的自动驾驶汽车和机器人）需要具备“空间智能”，即能够理解 3D 空间并能在 3D 空间中运作。

捕获我们周围世界的宏观细节和超微细节至关重要。不过，将现实转化为虚拟表示来训练 AI 非常困难。

现实环境的原始数据可以通过多种不同的技术收集，例如神经辐射场（NeRF）和激光雷达。fVDB 能够将这些数据转化为实时渲染、规模庞大的 AI 就绪型环境。

依托于十年来在 OpenVDB 标准方面的不断创新， fVDB 在 SIGGRAPH 上的推出，标志着各行各业在如何利用现实世界的数字孪生方面实现了巨大飞跃。

现实规模的虚拟环境正在广泛用于训练自主智能体。例如，通过无人机捕获城市规模的 3D 模型，用于气候科学和灾害防范规划。如今，3D 生成式 AI 甚至被用于规划城市空间和智慧城市。

fVDB 使各行各业能够以前所未有的规模和分辨率利用空间智能，从而使物理 AI 更加智能。

该框架能够基于 NanoVDB（GPU 加速的数据结构，有助于实现高效的 3D 仿真）构建 NVIDIA 加速的 AI 算子。这些算子包括卷积、池化、注意力机制和网格化，它们都是针对高性能 3D 深度学习应用而构建的。

借助 AI 算子，企业能够构建复杂的神经网络以实现空间智能，例如大规模点云重建和 3D 生成式建模。

fVDB 是 NVIDIA 研究团队长期努力的成果，已经用于为 NVIDIA Research、NVIDIA DRIVE 和 NVIDIA Omniverse 项目提供支持，这些项目需要大型复杂现实世界空间的高保真模型。

fVDB 的主要优势

更大：空间规模是以往框架的 4 倍。

更快：速度是以往框架的 3.5 倍。

可互操作：企业可以充分利用庞大的现实世界数据集。fVDB 能够根据 VDB 数据集打造全尺寸 3D 环境。支持 AI 且实时渲染，可用于打造具有空间智能的物理 AI。

更强大：能够运行的算子是以往框架的 10 倍。fVDB 通过结合使用以往需要多个深度学习库的功能，简化了流程。

fVDB 很快将以 NVIDIA NIM 推理微服务的形式推出。通过三项微服务，企业可以将 fVDB 整合到 OpenUSD 工作流中，以便在用于实时 3D 仿真的协作平台 NVIDIA Omniverse 中生成 AI 就绪型 OpenUSD 几何体。这三项微服务是：

fVDB Mesh Generation NIM：生成现实世界的数字化 3D 环境。

fVDB NeRF-XL NIM：利用 Omniverse Cloud API 和 OpenUSD 生成大规模 NeRF。

fVDB Physics Super-Res NIM：执行超分辨率技术，以便生成基于 OpenUSD 的高分辨率物理仿真。

在过去的十年中，OpenVDB 作为在视觉效果行业中广泛运用的核心技术赢得了多项学术大奖。它的应用领域已从娱乐行业扩展到工业和科学，例如工业设计和机器人开发。

NVIDIA 一直在不断增强开源 OpenVDB 库。四年前，NVIDIA 推出了 NanoVDB，为 OpenVDB 添加了 GPU 支持。这不仅带来了速度飞升，提升了性能，简化了开发，而且开启了实时仿真和渲染的大门。

两年前，NVIDIA 推出了 NeuralVDB，它能够基于 NanoVDB 构建机器学习，将 VDB 体积数据的内存占用量压缩多达 100 倍，使创作者、开发者和研究人员能够与极其庞大、高度复杂的数据集进行交互。

fVDB 能够基于 NanoVDB 构建 AI 算子，以现实规模解锁空间智能。欢迎申请参与抢先体验计划，提前体验 fVDB PyTorch 扩展。fVDB 还将作为 OpenVDB GitHub 资源库的一部分提供。

阅读技术博客《Building Spatial Intelligence from Real-World 3D Data Using Deep-Learning Framework fVDB》，深入了解 fVDB，也可以观看 NVIDIA 首席执行官黄仁勋在 SIGGRAPH 上的两场炉边谈话，了解加速计算和生成式 AI 正在如何改变着各行各业并带来新的创新和发展机会。