基于3D形状重建网络的机器人抓取规划方法

作者：paopaoslam    作者：Daniel Yang, Tarik Tosun, Benjamin Eisner, Volkan Isler, and Daniel Lee 来源： 2021 IEEE International Conference on Robotics and Automation (ICRA)    

摘要

  我们提出了一种新的机器人抓取规划方法，该方法同时使用了学习的抓取提议网络和学习的3D形状重建网络。我们的系统从目标对象的单个RGB-D图像生成6-DOF抓取，该图像作为两个网络的输入。通过几何重构来优化抓取提议网络生成的候选抓取，我们的系统能够准确地抓取已知和未知物体，即使在物体上的抓取位置在输入图像中不可见 本文介绍了该系统的网络结构、训练过程和优化方法。实验证明了我们的系统在抓取已知和未知物体时的有效性(在物理机器人环境中成功率为91%，在模拟环境中成功率为84%)。我们还进行了消融研究，展示了将学习抓取提议与几何重建相结合的好处，也表明我们的系统在抓取任务中优于多个参考基线。 

图1:系统概述。一个带有分割掩码的输入RGB-D图像被提供给两个神经网络，分别产生一个6自由度的抓取姿势和一个物体的3D点云重建。通过将抓取姿势投影到点云中最近的点来优化抓取姿势，从而产生最终的输出抓取。

图2:GPNet的架构由并行的ResNet-34模块组成，这些模块嵌入了屏蔽的灰度图像和深度图像。这些嵌入被连接起来，并通过两个完全连接的层回归到一个向量t∈R12，表示齐次变换C TG。

图3:在我们单独的shoe和YCB对象数据集中的示例抓取。从使用3D网格生成的一组候选抓取中，我们为每个对象选择一个单一的基本事实示例。

图4:从前景掩盖灰度和深度图像中，我们的3D形状重建网络SRNet学习了一个映射函数fθ，该函数将点从标准域(如单位球体)映射到3D对象。我们的系统利用这种重建所提供的附加几何信息来改进GPNet提出的抓取。

图5:将建议的抓取投影到重建点云上提高抓取准确性。左：灰度鞋图像。右：覆盖在可见点云上的SRNet重建。

图6：可见抓取（左）和隐藏抓取（右）实验设置。在可见抓取实验中，相机以50度仰角，距离鞋子500mm处，鞋子以90度增量依次放置在4个位姿（A-D）处。在隐藏式抓取实验中，相机距离鞋子500mm并与桌子平行，鞋子分别以45度增量放置在四个位姿处（E-H）。从这些角度看不到鞋子左侧的抓握点。

表I：可见抓握（VG）和隐藏抓握（HG）设置的鞋子抓取实验成功率

表II：从两个角度统计的每只鞋子抓取成功率。

图7：与物理设置蕾丝的模拟实验评估环境-Kinova Gen3臂和Robotiq 2F-85 平行颚夹钳

表III：每个物体的抓取成功率（%）。糖盒是一个测试对象。对测试对象的600个视图和火车对象的60个视图进行了评估，所有这些都使用YCB数据集中的RGB-D信息，并将对象放置在运动学可观的位姿模拟中。

Abstract

We present a novel approach to robotic grasp  planning using both a learned grasp proposal network and a  learned 3D shape reconstruction network.  Our system generates 6-DOF grasps from a single RGB-D image of the target object,  which is provided as input to both networks.  By using the  geometric reconstruction to refine the the candidate grasp  produced by the grasp proposal network, our system is able to  accurately grasp both known and unknown objects, even when  the grasp location on the object is not visible in the input image.   

This paper presents the network architectures, training  procedures, and grasp refinement method that comprise our  system.  Experiments demonstrate the efficacy of our system at  grasping both known and unknown objects (91% success rate in  a physical robot environment, 84% success rate in a simulated  environment).  We additionally perform ablation studies that  show the benefits of combining a learned grasp proposal with  geometric reconstruction for grasping, and also show that our  system outperforms several baselines in a grasping task.

编辑：黄飞