NVIDIA Isaac Lab助力银河通用打造灵巧手抓取技能模型

案例简介

在本案例中，银河通用的团队借助Isaac Lab搭建了具有挑战性的灵巧抓握基准 DexGraspNet，这是一个最近提出的基准套件，专门用于学习可泛化的灵巧抓握。DexGraspNet 包含 1.32M 个 ShadowHand 对 5355 个物体的抓握动作，比 DDG 之前的数据集大两个数量级。它具有 GraspIt!* 无法实现的多种抓握类型。

*GraspIt!：GraspIt!是一个由哥伦比亚大学机器人小组开发的仿真器，作为研究抓握的工具，它可以适应任意手和机器人设计。

兼顾灵巧手抓取数据的多样性和数量

机器人灵巧抓握是实现类似人类的灵巧物体操纵的第一步，因此是一项至关重要的机器人技术。然而，与使用平行夹持器的物体抓握相比，灵巧抓握的探索程度要低得多，部分原因是缺乏大规模数据集。在这项工作中，银河通用团队展示了一个大规模机器人灵巧抓握数据集 DexGraspNet，它由银河通用团队提出的高效合成方法生成，可普遍应用于任何灵巧手。银河通用团队的方法利用深度加速可微分力闭合估计器，因此可以高效、稳健地大规模合成稳定且多样的抓握。银河通用团队选择了 ShadowHand，并为 5355 个物体生成了 132 万个抓握，涵盖了 130多个物体类别，每个物体实例包含 200 多种不同的抓握，所有抓握都经过了 Isaac Lab 仿真器的验证。与刘等人之前的数据集相比，由 GraspIt! 生成的数据集不仅包含更多物体和抓握，而且多样性和质量更高。通过进行跨数据集实验，银河通用团队表明，在银河通用团队的数据集上训练几种灵巧抓握合成算法的效果，明显优于在前一种算法上训练。

基于强化学习

打造通用泛化灵巧手抓取技能模型

银河通用团队提出了一种新颖的、与对象无关的方法，用于在桌面环境下，从真实的点云观测和本体感受信息中学习灵巧物体抓取的通用策略，即 UniDexGrasp++。为了应对在数千个对象实例中学习基于视觉的策略的挑战，银河通用团队提出了几何感知课程学习 (GeoCurriculum) 和几何感知迭代通才-专才学习 (GiGSL)，它们利用任务的几何特征，并显著提高通用性。通过银河通用团队提出的技术，其最终策略在数千个对象实例上显示出通用的灵巧抓取，在训练集和测试集上的成功率分别为 85.4% 和 78.2%，分别比最先进的基线 UniDexGrasp 高出 11.7% 和 11.3%。

探索灵巧手抓取模型的 Scaling Law

除上述内容，银河通用团队还借助NVIDIA Isaac Lab和NVIDIA Isaac Sim搭建灵巧手抓取模型的仿真测试环境，显著加速了对于灵巧手抓取模型 Scaling Law 的探索进程，以及灵巧手泛化抓取技能在真实应用场景中的落地进程。