使用NVIDIA Omniverse复制器为机器人生成合成数据

AI 先锋 Andrew Ng 呼吁广泛转向以数据为中心的机器学习（ ML ）方法。他最近举办了第一次以数据为中心的人工智能数据质量竞赛，许多人声称这代表了人工智能 80% 的工作。

“我乐观地认为，人工智能社区不久将对系统化改进数据和架构模型产生同样大的兴趣，” Ng 在他的时事通讯The Batch中写道。

以数据为中心的合成数据方法

在使用合成数据时采用以数据为中心的模型开发方法是一个迭代过程。工程师评估训练有素的模型并确定数据集中的改进。然后，他们生成新的数据集并开启新的训练周期。这个生成数据、训练模型、评估模型和生成更多数据的过程会持续下去，直到模型按预期执行。

每次迭代中的数据都是在模拟中生成的，而不是在真实世界中收集的，然后进行标记，从而加快了模型训练的速度。这些可以大规模生成的数据集以培训工具可以直接使用的格式输出。该功能消除了在数据预处理中执行额外步骤的麻烦。

合成数据生成过程的参数化为 ML 工程师提供了对每次迭代的更多控制，以及对数据集中已有内容的可追溯性。通过合成数据、大规模生成、理解数据集中存在的内容，将数据集改进结合在一起，它的生成方式缩短了开发人员实现结果的时间。

推出用于 ISAAC Sim 卡的 NVIDIA Omniverse 复制器

随着人们对数据质量的日益关注， NVIDIA 发布了新的Omniverse Replicator for ISAAC Sim 应用程序，该应用程序基于最近发布的Omniverse Replicator 合成数据生成引擎。Isaac Sim中的这些新功能使 ML 工程师能够构建生产质量的合成数据集，以训练强健的深度学习感知模型。“复制”模型目标域的固有分布是最大化模型性能的关键。

Omniverse 复制器用于 ISAAC Sim 卡优势

生成数据集，以实现开发人员设置为目标的随机、受控和有界分布。

确保数据集包含目标角落和测试用例。

包含对象、照明和场景的摄影机相对视野放置。

在基于边缘和云的系统上大规模工作。

跟踪每个数据集中使用的工具和参数，以推动迭代过程并支持生产数据集的质量审核。

图 1 ISAAC Sim 中的合成数据生成工作流示例。

Replicator 演示：使用自动移动机器人避免叉车叉齿

目前许多工厂部署的自主移动机器人（ AMR ）都是基于平面激光雷达的。激光雷达足以探测到许多物体的存在并进行导航。叉车在许多工厂和仓库中随处可见，这对激光雷达提出了独特的挑战；可以检测叉车底盘，但不能检测叉齿。

由于平面激光雷达无法检测到叉齿，因此机器人只能在叉齿上方行驶时避免与叉车本体发生碰撞。

解决此问题的一种方法是让机器人“感知”其路径中有叉车，并使用该识别来改进导航以避免尖齿。

本节概述了使用 ISAAC Sim Replicator 培训 DNN 以解决 AMR /叉车问题的整个工作流程的演示。

叉车演示关键步骤

在Omniverse上的 ISAAC Sim 卡中构建仓库场景。

在仓库中放置 AMR 并重新创建故障场景。

获取叉车模型并使用 ISAAC Sim 生成合成数据。

使用TAO Toolkit使用合成数据训练现有预训练模型。

使用DNN Inference Isaac ROS GEM部署模型。

在模拟中测试 ISAAC ROS GEM 。

在NVIDIA Jetson platform上部署 ISAAC GEM in robot 软件堆栈。

图 2 使用 ISAAC Sim 数据复制器进行叉车演示的完整工作流程。

为 ISAAC Sim 使用 Omniverse 复制器生成数据集

在本演示中，我们获得了八种不同的 3D 叉车通用场景描述（ USD ）模型来训练 DNN 。 ISAAC Sim Replicator 然后被用来描述影响对象（叉车）的众多参数：照明、相机和场景本身。

在领域随机化中使用了特别的注意，因此深度学习模型将推广其对叉车的理解。通过更改颜色、纹理、照明、叉车相对于摄影机的位置、叉车的偏航、俯仰、滚动，并在场景中添加其他非叉车对象，模型可以学习概括叉车。

最终，为这次演示生成了 90000 多张图像。我们使用新的Omniverse Farm，一个用于多 GPU 、多代理、模拟的系统层，来管理创建数据集的 GPU – 计算资源。

这些图像表示实现稳健性能所需的数据多样性类型。

培训和部署叉车探测器 DNN

我们从NVIDIA TAO Toolkit 中选择了一个预训练模型来执行识别叉车所需的分割任务。该模型经过预训练，可以对人物、汽车和背景类进行语义分割。我们使用转移学习，将该模型用于使用 ISAAC Sim 中生成的合成数据对叉车执行语义分割。

下一步是将叉车模型添加到DNN Inference Isaac ROS GEM。您可以快速将推理添加到基于 ROS 的机器人应用程序中，如本文中描述的 AMR 用例。

总结

提高基于人工智能的计算机视觉应用程序的性能需要复制目标领域固有分布的大型和多样的数据集。用于 ISAAC Sim 卡的新型 NVIDIA Omniverse Replicator 是一款功能强大的应用程序，可生成生产质量数据集。

我们演示了如何使用合成数据培训在 AMR 上运行的 DNN ，以避免在叉车叉齿上运行的常见事故。

在许多其他场景中，您可以应用此过程并使用合成数据来增加机器人对其环境和行为的理解。最终，这将导致机器人事故更少，需要更少的人工干预。

关于作者

Gerard Andrews 是专注于机器人开发社区的高级产品营销经理。在加入 NVIDIA 之前，Gerard在Cadence担任产品营销总监，负责许可处理器IP的产品规划、营销和业务开发。他拥有佐治亚理工学院电子工程硕士学位和南方卫理公会大学电子工程学士学位。

审核编辑：郭婷