0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

使用 ROS 2 MoveIt 和 NVIDIA Isaac Sim 创建逼真的机器人模拟

NVIDIA英伟达 来源:未知 2023-05-12 10:45 次阅读
e8953784-f06d-11ed-90ce-dac502259ad0.png

MoveIt 是一个机器人控制平台,包括了运动规划、操纵、3D 感知、运动学、控制和导航方面的最新技术PickNik Robotics 是进行 MoveIt 开发的公司,该公司正在探索在内部研发项目中使用 NVIDIA Isaac Sim。项目的目标是提高对操纵的感知,并通过 PickNik 的商业机器人开发平台 MoveIt Studio 让机器人具有更自主的行为。

本文展示了将 MoveIt 2 与 NVIDIA Isaac Sim 中模拟的机器人进行集成的过程。本教程需要一台安装了 Isaac Sim 2022.2.0 的电脑,以及如下所列的系统配置。请参阅 NVIDIA Isaac Sim documentation https://docs.omniverse.nvidia.com/app_isaacsim/app_isaacsim/overview.html)了解具体的安装细节和要求。

1、NVIDIA Isaac Sim 2022.2.0 安装于 Ubuntu 20.04 主机上。默认位置为$HOME/.local/share/ov/pkg/isaac_sim-2022.2.0目录。

2、安装 Docker。

3、克隆 MoveIt2 教程,以构建一个基于 Ubuntu 22.04 Humble 的 Docker 镜像,该镜像可以与 Isaac Sim 通信并运行本教程。

ros2 _ control 介绍

要执行 MoveIt 计算的轨迹,建议使用 ros2_control 框架进行管理并与您的机器人通信(无论真实的还是模拟)。这种方法为开发人员提供了一个通用的 API,使软件能够通过简单地更改一些启动参数,在许多不同的机器人类型和内置传感器之间切换。

例如,Panda 机器人ros2_control.xacro使用标志use_fake_hardware在被模拟或连接到物理机器人之间切换,如下所示:


 if value="${use_fake_hardware}">
  mock_components/GenericSystem
 if>
 "${use_fake_hardware}">
  franka_hardware/FrankaHardwareInterface
  "robot_ip">${robot_ip}
 

硬件元件可以是不同类型的。插件mock_components/GenericSystem是一个简单的系统,用于转发输入的 command_interface 要跟踪的节点值 state_interface该系统模拟了对节点的完美控制。

为了将机器人的配置扩展到 Isaac Sim ,首先需要引入 topic_based_ros2_control。此硬件接口是一个订阅和发布已配置主题的系统。对于本教程,topic /isaac_joint_states 将包含机器人的当前状态,并且 将使用 /isaac_joint_commands 进行驱动 。

本教程中使用的 moveit_resources_panda_moveit_config 不支持连接到硬件。因此当标志 ros2_control_hardware_type 设置为 isaac 时,表示ros2_control.xacro已更新并装载 TopicBasedSystem 插件。

if value="${ros2_control_hardware_type == 'mock_components'}">
  mock_components/GenericSystem
if>
if value="${ros2_control_hardware_type == 'isaac'}">
  topic_based_ros2_control/TopicBasedSystem
  "joint_commands_topic">/isaac_joint_commands
  "joint_states_topic">/isaac_joint_states
if>

包含的 Python 脚本加载 Panda 机器人,同时构建 OmniGraph 发布和订阅用于控制机器人的 ROS topic。要了解有关配置 Isaac Sim 机器人与 ROS 2 通信的信息,请参阅ROS 2 Joint Control: Extension Python Scripting

(https://docs.omniverse.nvidia.com/app_isaacsim/app_isaacsim/tutorial_ros2_manipulation.html)。

计算机设置

按照以下步骤设置计算机。

1、使用 Workstation Installation documentation 安装 Isaac Sim.

2、使用以下脚本执行 MoveIt2 教程存储库的浅克隆:

git clone https://github.com/ros-planning/moveit2_tutorials.git -b humble --depth 1

3、打开克隆教程的文件夹,然后切换到以下目录:

cd moveit2_tutorials/doc/how_to_guides/isaac_panda

4、构建 Docker 镜像:

docker compose build

使用模拟组件运行

MoveIt Interactive Marker Demo

运行以下脚本以测试 mock_components/GenericSystem 硬件接口:

docker compose up demo_mock_components

RViz 将运行 Panda 机器人,并使mock_components 以模拟机器人并执行轨迹。如果这是您第一次同时使用 MoveIt 与 RViz ,请参阅Quickstart in RViz 教程https://moveit.picknik.ai/humble/doc/tutorials/quickstart_in_rviz/quickstart_in_rviz_tutorial.html)。

完成测试后,在终端中选择 Ctrl+C 停止容器。

使用 Isaac Sim 运行

MoveIt Interactive Marker Demo

1、在主机上,导航到教程启动目录:

cd moveit2_tutorials/doc/how_to_guides/isaac_panda/launch

2、加载预配置的 Panda 机器人以使用本教程。请注意,此步骤假定 Isaac Sim 安装在 $HOME/.local/share/ov/pkg/isaac_sim-2022.2.0" 目录。

此步骤需要几分钟的时间来下载资源并设置 Isaac Sim。耐心等待,不要点击 Force Quit 模拟器启动时弹出的对话框。要加载 Panda 机器人,请运行以下命令:

./python.sh isaac_moveit.py

3、从moveit2_tutorials/doc/how_to_guides/isaac_panda 目录,启动一个连接到 Isaac Sim 的容器,使用 topic_based_ros2_control/TopicBasedSystem 硬件接口:

docker compose up demo_isaac

RViz 将运行 Panda 机器人,然后使用 TopicBasedSystem 用于与模拟机器人通信并执行轨迹的接口。

视频 1:了解如何集成 MoveIt 和 NVIDIA Isaac Sim

结论

将 MoveIt 与 NVIDIA Isaac Sim 集成,开发人员能够创建反映真实世界的复杂逼真的机器人系统模拟。通过将这两个框架与 ros2 _ control 配对,您可以在不同的模拟器和真实硬件之间快速切换,以快速迭代新算法和机器人行为。

即刻点击“阅读原文”在 NVIDIA On-Demand 上观看 GTC 精选回放,包括主题演讲相关精选、中国本地精选内容、生成式 AI 专题以及全球各行业及领域最新成果!



原文标题:使用 ROS 2 MoveIt 和 NVIDIA Isaac Sim 创建逼真的机器人模拟

文章出处:【微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英伟达
    +关注

    关注

    22

    文章

    3771

    浏览量

    90997
收藏 人收藏

    评论

    相关推荐

    NVIDIA通过加速AWS上的机器人仿真推进物理AI的发展

    NVIDIA Isaac Sim 现在可在 Amazon EC2 G6e 实例中的 NVIDIA GPU 云实例上使用,将
    的头像 发表于 12-09 11:50 287次阅读

    NVIDIA助力Figure发布新一代对话式人形机器人

    该初创公司展示了新型机器人,其使用 NVIDIA Isaac Sim 处理合成数据,并使用基于 NVIDIA 加速计算进行实时推理训练的生成
    的头像 发表于 11-04 10:10 256次阅读

    NVIDIA与学术研究人员联合开发手术机器人

    利用 NVIDIA Isaac SimNVIDIA Omniverse 开发的 ORBIT-Surgical 正在 ICRA 机器人
    的头像 发表于 10-10 10:00 441次阅读

    NVIDIA提供一套服务、模型以及计算平台 加速人形机器人发展

    开发者可以访问新的 NVIDIA NIM 微服务,用于 Isaac Lab 和 Isaac Sim 中的机器人仿真、OSMO
    的头像 发表于 07-31 10:41 651次阅读

    NVIDIA 加速人形机器人发展

    开发者可以访问新的 NVIDIA NIM 微服务,用于 Isaac Lab 和 Isaac Sim 中的机器人仿真、OSMO
    发表于 07-30 09:15 739次阅读
    <b class='flag-5'>NVIDIA</b> 加速人形<b class='flag-5'>机器人</b>发展

    ROS机器人开发更便捷,基于RK3568J+Debian系统发布!

    ,简单快捷地调用合适的算法库,以提高开发效率,加快开发进程。 (2) 开源免费,架构精简 ROS系统是一个开源免费,架构精简的机器人操作系统。ROS被设计为尽可能精简,以便为
    发表于 07-09 11:38

    逐际动力携手英伟达Isaac平台, 助力通用机器人研发

    在近日举行的年度计算机视觉与模式识别会议(CVPR)上,英伟达发布了其最新版本的NVIDIA Isaac Sim。与此同时,逐际动力也宣布将采用这一升级版的Isaac平台,以强化学习和
    的头像 发表于 06-21 09:34 2396次阅读

    NVIDIA Isaac 机器人平台利用最新的生成式 AI 和先进的仿真技术,加速 AI 机器人技术的发展

    观众展示了用于人形机器人学习的通用基础模型 Project GR00T(代表通用机器人 00 技术)。Project GR00T 利用 NVIDIA Isaac
    的头像 发表于 06-04 18:00 7696次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> <b class='flag-5'>机器人</b>平台利用最新的生成式 AI 和先进的仿真技术,加速 AI <b class='flag-5'>机器人</b>技术的发展

    全球机器人开发领域采用NVIDIA 机器人开发和生产

    比亚迪电子、西门子、泰瑞达和 Alphabet 旗下公司 Intrinsic 采用 NVIDIA Isaac 机器人平台开发自主机械臂、人形机器人和移动
    的头像 发表于 06-03 18:25 1232次阅读

    使用NVIDIA Isaac Manipulator生成抓取姿势和机器人运动

    NVIDIA 宣布与 Intrinsic.ai 就工业机器人任务的基础技能模型学习展开合作。
    的头像 发表于 05-17 10:33 1256次阅读
    使用<b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> Manipulator生成抓取姿势和<b class='flag-5'>机器人</b>运动

    NVIDIA Isaac机器人平台升级,加速AI机器人技术革新

    NVIDIA Isaac机器人平台近期实现重大升级,通过引入最新的生成式AI技术和先进的仿真技术,显著加速了AI机器人技术的发展步伐。该平台正不断扩展其基础模型、
    的头像 发表于 03-27 10:36 672次阅读

    NVIDIA入局人形机器人Isaac平台迎来重要更新

    NVIDIA Isaac 机器人平台利用最新的生成式 AI 和先进的仿真技术,加速 AI 机器人技术的发展。
    的头像 发表于 03-26 09:07 1069次阅读
    <b class='flag-5'>NVIDIA</b>入局人形<b class='flag-5'>机器人</b>!<b class='flag-5'>Isaac</b>平台迎来重要更新

    NVIDIA Isaac将生成式AI应用于制造业和物流业

    NVIDIA Isaac 机器人平台利用最新的生成式 AI 和先进的仿真技术,加速 AI 机器人技术的发展。
    的头像 发表于 03-22 10:06 530次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b>将生成式AI应用于制造业和物流业

    移动机器人ROS操作系统原理与应用

    ROS1不同的是,ROS2诞生的目的就是为了让更多机器人使用,所以在设计上更加符合技术的发展方向,也运用了很多最近的技术框架。
    发表于 01-02 12:28 579次阅读
    移动<b class='flag-5'>机器人</b>与<b class='flag-5'>ROS</b>操作系统原理与应用

    使用 NVIDIA Isaac 仿真并定位 Husky 机器人

    如何使用 ROS 2 Husky 官方软件包将该机器人导入 NVIDIA Isaac Sim
    的头像 发表于 12-26 18:05 1321次阅读
    使用 <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> 仿真并定位 Husky <b class='flag-5'>机器人</b>