0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于 NVIDIA Jetson 使用硬件在环设计机器人

NVIDIA英伟达 来源:未知 2023-06-14 18:35 次阅读

Hardware-in-the-Loop(硬件在环,HIL)测试是一种强大的工具,用于验证和核实包括机器人技术和计算机视觉在内的复杂系统的性能。本文探讨了 HIL 测试是如何通过 NVIDIA Isaac 平台应用于这些领域的。

NVIDIA Isaac 平台由 NVIDIA Isaac Sim NVIDIA Isaac ROS 组成。前者是一个仿真器,为测试机器人算法提供仿真环境,后者是针对NVIDIA Jetson优化的硬件加速软件,其中包含机器学习、计算机视觉和定位算法。基于NVIDIA Isaac 平台进行 HIL 测试,您可以验证和优化机器人软件栈的性能,从而获得更安全、更可靠、更高效的产品

下文将讨论 HIL 系统的各个组件,包括 NVIDIA Isaac 平台的软件和硬件。此外还会研究它们如何协同工作,以优化机器人和计算机视觉算法的性能。我们也将探讨使用 NVIDIA Isaac 平台进行 HIL 测试的好处,并与其他测试方法进行比较。

NVIDIA Isaac Sim

基于 Omniverse 的 NVIDIA Isaac Sim 为测试机器人和计算机视觉算法提供了一个照片级真实、物理精准的虚拟环境,使用户能够在无损坏物理硬件风险的前提下对性能进行微调。同时,该仿真器也是高度可定制的,是测试各种场景和用例的理想选择。

您可以利用 NVIDIA Isaac Sim 创造更智能、更先进的机器人。平台提供了一套能够帮您构建复杂算法的工具和技术,使机器人能够执行复杂的任务。

通过使用 Omniverse NucleusOmniverse ConnectorsNVIDIA Isaac Sim可以轻松协作、共享和导入通用场景描述(USD)格式的环境和机器人模型。通过集成 Isaac ROS/ROS 2 接口、全功能的 Python 脚本,以及用于导入机器人和环境模型的插件,可以实现更加高效和有效的机器人仿真。

67eaa826-0a9e-11ee-962d-dac502259ad0.png

图 1. NVIDIA Isaac Sim 堆栈

您可以使用 ROS 或 ROS 2,又或是 Python 与 NVIDIA Isaac Sim 进行交互。运行 NVIDIA Isaac GymNVIDIA Isaac Cortex,生成合成数据,或者将其用于数字孪生。

NVIDIA Isaac Sim 在内部采用定制版本ROS Noetic,使用 roscpp构建用于ROS Bridge,与 Omniverse 框架和 Python 3.7 无缝协作。这个版本与 ROS Melodic 兼容。

NVIDIA Isaac Sim 目前支持 ROS 2 Foxy 和 Humble 的 ROS 2 Bridge,建议将 Ubuntu 20.04 用于 ROS 2。

了解更多详细信息,请参阅 NVIDIA Isaac Simhttps://developer.nvidia.com/isaac-sim

NVIDIA Isaac ROS

NVIDIA Isaac ROS 建立在机器人操作系统(ROS)之上,提供了一系列先进的功能和工具,帮您打造更智能、更强大的机器人。这些功能包括先进的绘图和定位,以及物体检测和跟踪。有关最新功能的更多信息,请参阅 Isaac ROS Developer Preview 3 (https://developer.nvidia.com/blog/build-high-performance-robotic-applications-with-nvidia-isaac-ros-developer-preview-3/

通过使用 NVIDIA Isaac 平台的 Isaac ROS,您可以创建复杂的机器人应用程序,精确地执行复杂的任务。凭借强大的计算机视觉和定位算法,Isaac ROS 对于任何希望创建高级机器人应用程序的开发人员来说都是一个有价值的工具。

6800f162-0a9e-11ee-962d-dac502259ad0.png

图 2. Isaac ROS 和软件层

Isaac GEMs for ROS 是一套为机器人社区发布的 GPU 加速 ROS 2 软件包,是 NVIDIA Jetson 平台的一部分。

Isaac ROS 提供了一套用于感知及 AI 的软件包,以及被称为 NVIDIA Isaac Transport for ROS (NITROS)的完整管线。这些软件包已经针对 NVIDIA GPU 和 Jetson 平台进行了优化,具有图像处理和计算机视觉的功能。

在这篇文章中,我们收录了如何为以下软件包运行 HIL 的示例:

  • NVIDIA Isaac ROS vslam

  • NVIDIA Isaac ROS apriltag

  • NVIDIA Isaac ROS nvblox

  • NVIDIAIsaac ROS Proximity segmentation

有关其他Isaac ROS 软件包和最新Isaac ROS Developer Preview 3 的更多信息,请参阅 NVIDIA Isaac ROS (https://developer.nvidia.com/isaac-ros)

硬件规格和设置

对于此测试,您需要一个工作站或笔记本电脑,以及一个 NVIDIA Jetson 平台:

  • 搭载 Ubuntu 20.04 的 x86/64 计算机

  • 带 NVIDIA RTX 的 NVIDIA 显卡

  • 显示器

  • 键盘和鼠标

  • NVIDIA Jetson AGX Orin 或 NVIDIA Jetson Orin NX

  • NVIDIA JetPack 5+(测试版本为 5.1.1)

  • 路由器

  • 以太网电缆

6812efde-0a9e-11ee-962d-dac502259ad0.png

图 3. 硬件设置

当在设备之间(如 NVIDIA Jetson 模块和电脑传输大量数据时,通常首选使用有线以太网连接而不是 Wi-Fi。这是因为以太网连接提供了更快、更可靠的数据传输速率,对于实时数据处理和机器学习任务尤为重要。

在 Jetson 模块和电脑之间建立以太网连接,您需要按照以下步骤操作:

  1. 准备一根以太网电缆和一个带有免费以太网端口的路由器。

  2. 将电缆的一端插入设备的以太网端口。

  3. 将电缆的另一端插入路由器上其他未使用的以太网端口。

  4. 打开设备,等待其完全启动。

  5. 通过查找以太网图标,或使用如 ifconfig 或 ipconfig 的网络诊断工具。

当电脑和 NVIDIA Jetson 准备就绪并连接后,请按照 /NVIDIA-AI-IOT/isaac_demo(https://github.com/NVIDIA-AI-IOT/isaac_demo)进行操作。

运行 Demo 和驱动

第一步,在工作站上运行 NVIDIA Isaac Sim。使用 ./isaac_ros.sh 脚本运行一个 Carter 机器人的 Demo。

Carter 1.0 是一个机器人平台,使用了Segway的差速器底座、一个用于 3D 范围扫描的 Velodyne P16、一个 ZED 摄像头、一个 IMU 以及一个作为系统核心的 Jetson 模块,与定制的安装支架一起,为 NVIDIA Isaac 导航堆栈提供了一个强大而坚固的演示平台。

当仿真开始时,您可以看到 NVIDIA Isaac Sim 的立体相机进行输出。使用两个摄像头,机器人已经准备好接收在 NVIDIA Jetson 模块上运行的 Isaac ROS 的输入。

68284078-0a9e-11ee-962d-dac502259ad0.png

图 4. NVIDIAIsaacSim 上的Carter

在 Demo 中试用 Isaac ROS 软件包

在这篇文章中,我们探讨用于 AMR 机器人或轮式机器人的 NVIDIA Isaac ROS 软件包。我们会重点讨论用于定位、绘图和 AprilTag 检测的软件包,您也可以根据需要修改资源库,以测试其他需要使用的软件包。

Isaac ROS Visual SLAM

NVIDIA Isaac ROS Visual SLAM 采用了视觉里程计和同步定位与建图技术(SLAM)的结合。

视觉里程计用于估计摄像机相对于其起始位置的位置。该技术涉及分析两个连续输入帧或立体声对识别关键点集合的迭代过程。通过匹配这两个集合的关键点,可以确定摄像机的过渡和帧之间的相对旋转。

SLAM 是一种通过结合先前获得的轨迹来增强视觉 SLAM 准确性的方法。通过检测当前场景是否曾被看过(摄像机运动的循环),就可以优化先前估计的摄像机姿势。

683bcf44-0a9e-11ee-962d-dac502259ad0.png

图 5. Isaac ROSvslam 和 nvblox

6864d768-0a9e-11ee-962d-dac502259ad0.png

图 6. Isaac ROS vslam 和 nvblox 运行状态

Isaac ROS nvblox

nvblox 软件包通过使用传感器观测数据,实时建立机器人周围环境的 3D 模型,路径规划人员可以使用该模型来创建无碰撞路径。软件包使用 NVIDIA CUDA 技术来加速这一过程,以获得实时性能。这个存储库包括用于 nvblox 库的 ROS 2 集成。

68770000-0a9e-11ee-962d-dac502259ad0.png

图 7. Isaac ROS NVblox 工作流程

68889388-0a9e-11ee-962d-dac502259ad0.png

图 8. Isaac ROS vs.lam 输出

按照 /NVIDIA-AI-IOT/isaac_demo(https://github.com/NVIDIA-AI-IOT/isaac_demo)进行操作,Isaac ROS vslam 软件包即可在 Demo 上运行。

NVIDIA Isaac ROS apriltag

ROS 2 apriltag 软件包使用 NVIDIA GPU 来加速图像中的检测,并发布位姿、ID 和其他元数据。这个软件包可与 ROS 2 节点的 CPU AprilTag 检测相媲美。

这些标签是驱动机器人或操纵者从特定点开始动作或完成作业的基准。它们也被用于增强现实,以校准观察孔的测距。这些标签在许多系列中都可用,也易用桌面打印机打印,如图 9 中的标签。

68abf53a-0a9e-11ee-962d-dac502259ad0.png

图 9. AprilTags 代替二维码的例子

68bfc358-0a9e-11ee-962d-dac502259ad0.png

图 10. Isaac ROS apriltag 检测 Demo

Isaac ROSproximity segmentation

isaac_ros_bi3d 软件包采用了一个 Bi3D 模型,该模型经过优化,通过二元分类可执行立体深度评估。这个过程被用于 proximity segmentation,有助于识别某个范围内是否存在障碍物,并有助于在环境中导航时防止碰撞。

68d50042-0a9e-11ee-962d-dac502259ad0.png

图 11. Isaac ROS proximity segmentation

使用 rviz 驱动 Carter

当读取 rviz 并全部运行时,rviz 显示了下图中的输出。图 12 显示了 Carter 在地图的中心和所有区块的位置。

68eac6de-0a9e-11ee-962d-dac502259ad0.png

图 12. 使用 Isaac ROS vslam 和

Isaac ROS nvblox 构建地图的 rviz

以下视频展示的是您可以使用 rviz 在所有环境中驱动机器人,并查看由 nvblox 生成的地图。

视频 1. NVIDIA Orin NX 上的 HIL,基于

Isaac ROS vslam 和 nvblox

您也可以使用 Foxglove 来测试仿真。

68fadc5e-0a9e-11ee-962d-dac502259ad0.png

图 13. 使用 Foxglove 进行仿真测试

总结

在这篇文章中,我们向您展示了如何设置HIL使用 NVIDIA Jetson Isaac ROS 模块进行测试,以及如何尝试 NVIDIA Isaac Sim。请在桌面电脑和 Jetson 模块之间使用有线连接。想要显示所有遥测的原始数据,您需要一个可靠的连接。

您也可以测试刚刚添加到 /isaac-ros_dev 文件夹的其他 NVIDIA Isaac ROS 软件包。更多详细信息,请参阅 readme . md 文件,位置是 /NVIDIA-AI-IOT/isaac_demo(https://github.com/NVIDIA-AI-IOT/isaac_demo

更多详细信息,请参阅Isaac ROS 系列网络研讨会https://gateway.on24.com/wcc/experience/elitenvidiabrill/1407606/3998202/isaac-ros-webinar-series)

点击“阅读原文”,或扫描下方海报二维码观看 NVIDIA 创始人兼 CEO 黄仁勋在 COMPUTEX 2023 的主题演讲直播回放,主题演讲中文字幕版已上线,了解 AI、图形及其他领域的最新进展!


原文标题:基于 NVIDIA Jetson 使用硬件在环设计机器人

文章出处:【微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英伟达
    +关注

    关注

    22

    文章

    3771

    浏览量

    90992

原文标题:基于 NVIDIA Jetson 使用硬件在环设计机器人

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    使用NVIDIA Jetson打造机器人导盲犬

    Selin Alara Ornek 是一名富有远见的高中生。她使用机器学习和 NVIDIA Jetson边缘 AI 和机器人平台,为视障人士打造了
    的头像 发表于 11-09 13:51 240次阅读

    利用NVIDIA Isaac平台构建、设计并部署机器人应用

    任务等功能。 AI 在这一变革中发挥着关键作用,提高了机器人的性能。通过集成 NVIDIA AI 加速,机器人可以更高的精度和效率处理复杂的任务,各种应用中充分发挥自己的潜力。
    的头像 发表于 11-09 11:41 702次阅读
    利用<b class='flag-5'>NVIDIA</b> Isaac平台构建、设计并部署<b class='flag-5'>机器人</b>应用

    使用机器学习和NVIDIA Jetson边缘AI和机器人平台打造机器人导盲犬

    Selin Alara Ornek 是一名富有远见的高中生。她使用机器学习和 NVIDIA Jetson 边缘 AI 和机器人平台,为视障人士打造了
    的头像 发表于 11-08 10:05 386次阅读

    印度机器人公司使用NVIDIA技术推动全球创新

    从仓库自动化到最后一公里配送,印度机器人公司正在使用 NVIDIA 技术推动全球创新。
    的头像 发表于 10-29 15:16 361次阅读

    NVIDIAICRA展示最新机器人研究

    日前举行的 IEEE 国际机器人和自动化大会(ICRA)上,几何织物(geometric fabrics)成为一个热门的讨论话题。几何织物是 NVIDIA 机器人研究实验室成员与合
    的头像 发表于 10-10 09:55 352次阅读

    NVIDIA 加速人形机器人发展

    开发者可以访问新的 NVIDIA NIM 微服务,用于 Isaac Lab 和 Isaac Sim 中的机器人仿真、OSMO 机器人云计算编排服务和远程操作数据捕获工作流等       丹佛
    发表于 07-30 09:15 739次阅读
    <b class='flag-5'>NVIDIA</b> 加速人形<b class='flag-5'>机器人</b>发展

    NVIDIA发布几项新功能来帮助机器人专家和工程师打造智能机器人

    、复杂装配任务等功能。 AI 由于能够增强机器人的性能,因此在这一发展演进过程中起到了举足轻重的作用。通过集成 NVIDIA AI 加速功能,机器人能够以更高的精度和效率处理复杂的任务,充分发挥出它们
    的头像 发表于 06-29 15:14 1108次阅读
    <b class='flag-5'>NVIDIA</b>发布几项新功能来帮助<b class='flag-5'>机器人</b>专家和工程师打造智能<b class='flag-5'>机器人</b>

    全球机器人开发领域采用NVIDIA 机器人开发和生产

    比亚迪电子、西门子、泰瑞达和 Alphabet 旗下公司 Intrinsic 采用 NVIDIA Isaac 机器人平台开发自主机械臂、人形机器人和移动机器人  
    的头像 发表于 06-03 18:25 1230次阅读

    使用NVIDIA Isaac Manipulator生成抓取姿势和机器人运动

    NVIDIA 宣布与 Intrinsic.ai 就工业机器人任务的基础技能模型学习展开合作。
    的头像 发表于 05-17 10:33 1256次阅读
    使用<b class='flag-5'>NVIDIA</b> Isaac Manipulator生成抓取姿势和<b class='flag-5'>机器人</b>运动

    NVIDIA Isaac机器人平台升级,加速AI机器人技术革新

    NVIDIA Isaac机器人平台近期实现重大升级,通过引入最新的生成式AI技术和先进的仿真技术,显著加速了AI机器人技术的发展步伐。该平台正不断扩展其基础模型、机器人学习框架、AI工
    的头像 发表于 03-27 10:36 672次阅读

    NVIDIA入局人形机器人!Isaac平台迎来重要更新

    NVIDIA Isaac 机器人平台利用最新的生成式 AI 和先进的仿真技术,加速 AI 机器人技术的发展。
    的头像 发表于 03-26 09:07 1069次阅读
    <b class='flag-5'>NVIDIA</b>入局人形<b class='flag-5'>机器人</b>!Isaac平台迎来重要更新

    英伟达发布人形机器人通用模型与Isaac机器人计划

    作为AI领域的硬件大佬,NVIDIA推动机器人进步方面一直积极行动。在此次召开的年度GTC开发者大会上,公司对外公布了通过Project GR0OT(Generalist Robot
    的头像 发表于 03-19 15:57 629次阅读

    NVIDIA Isaac平台为AI机器人开发提供支持

    今日的CES特别演讲中,NVIDIA机器人和边缘计算副总裁Deepu Talla揭示了NVIDIA及其合作伙伴如何将生成式AI与机器人技术
    的头像 发表于 01-09 15:00 1082次阅读

    生成式AI通过NVIDIA Isaac平台提高机器人的智能化水平

    今日,NVIDIA 机器人和边缘计算副总裁 Deepu Talla CES 上的特别演讲中,详细介绍了 NVIDIA 及合作伙伴是如何将生成式 AI 与
    的头像 发表于 01-09 10:27 1136次阅读
    生成式AI通过<b class='flag-5'>NVIDIA</b> Isaac平台提高<b class='flag-5'>机器人</b>的智能化水平

    使用 NVIDIA Isaac 仿真并定位 Husky 机器人

    如何使用 ROS 2 Husky 官方软件包将该机器人导入 NVIDIA Isaac Sim 并创建仿真。 本 Demo 中的 Husky 机器人配备了 NVIDIA
    的头像 发表于 12-26 18:05 1320次阅读
    使用 <b class='flag-5'>NVIDIA</b> Isaac 仿真并定位 Husky <b class='flag-5'>机器人</b>