0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

从 0 到 1 搭建机器人 | 利用 NVIDIA Isaac Sim 创建虚拟环境进行仿真开发与测试

NVIDIA英伟达 来源:未知 2023-08-07 19:10 次阅读

除了做汉堡或端咖啡外,机器人还可以在仓库中搬运货物、包装食品和帮忙装配车辆。它们是如何在很短的时间内达到熟练水平的呢?

这就要归功于机器人仿真了。

在上一篇文章中我们学习了进行机器人开发的第一步——生成合成数据然后进行训练。从 0 到 1 搭建机器人系列文章第二篇将带领大家继续学习如何创建虚拟环境,进行机器人的仿真开发与测试。本次要使用的工具是 NVIDIA Isaac Sim, 一款可扩展的机器人仿真应用程序和合成数据生成工具。

什么是机器人仿真

仿真的具体过程是:首先使用仿真器将虚拟机器人置于虚拟环境中,这样就可以在不需要实体机器人的情况下测试机器人的软件。最新的机器人仿真器可以生成数据集,用于训练将在实体机器人上运行的机器学习模型。

然后,在这个虚拟环境中,开发人员可以创建机器人、环境以及可能需要的其他实体的数字版本。虚拟环境也会遵守物理定律,并模拟现实世界的重力、摩擦、材料和照明条件。

仿真一般被用于验证、确认和优化机器人的设计和系统及其算法。仿真能够在建造或改造开始前对设施进行优化,以达到最高效率,同时有助于减少昂贵的制造变更。

为了让机器人能够在人群中安全地工作,完美的运动规划是必不可少的。若要搬运脆弱的物体,机器人需要能够执行精准的接触和抓取。这些机器以及自主移动机器人和自动驾驶汽车系统,都是在大量数据的基础上训练出安全的运动方式。

仿真正在利用合成数据实现以前不可能实现的虚拟进展。今天在仿真中诞生和成长的机器人,将被用于解决现实世界中的各种问题。

机器人仿真的工作原理

先进的机器人仿真器从应用基本的物理学方程开始,比如使用牛顿运动定律,确定物体如何在一个小的时间增量或一个时间段内移动。还可以加入对机器人的物理限制,比如加入一个铰链式关节或者使其不能通过其他物体。

仿真器使用各种方法来检测物体之间可能发生的碰撞、识别碰撞物体之间的接触点,并计算力或脉冲,以防止物体之间相互碰撞。仿真器还可以计算用户需要的传感器信号,比如机器人关节处的扭矩或机器人抓手与物体之间的力。

使用机器人仿真的过程中,用户通常会导入机器人的计算机辅助设计模型,并导入或生成感兴趣的目标对象来构建一个虚拟场景。开发人员可以使用一套算法执行任务规划和运动规划,然后规定控制信号来执行这些计划。这使机器人能够以特定的方式执行任务并移动,比如拿起一个物体并将其放到目标位置。

开发人员可以观察计划输出的结果控制信号,然后根据需要修改它们以确保成功。最近,人们开始使用基于机器学习的方法。用户不必直接规定控制信号,而是只需要规定一个期望的行为,比如在不发生碰撞的情况下移动到一个位置。这时,一个由数据驱动的算法会根据机器人的仿真传感器信号生成控制信号。

此类算法包括模仿学习和强化学习,前者以人类示范作为参考,后者让机器人通过智能试错学会行为,依靠经过加速的虚拟体验迅速完成多年的学习。

然后,仿真器将按照用户要求的时间间隔重复这一过程。一些仿真器,比如建立在 NVIDIA Omniverse 上的应用 NVIDIA Isaac Sim 等还可以按照间隔时间,提供其输出结果的精确物理学可视化图表。

使用 NVIDIA Isaac Sim 进行仿真

NVIDIA Omniverse Cloud 平台上的Isaac Sim 是一个机器人仿真应用和 SDG 工具,驱动逼真的、物理准确的虚拟环境。在 NVIDIA Omniverse 的赋能下,Isaac Sim 使分布在全球的团队能够开展远程协作,一起构建、训练、仿真、验证和部署机器人。

wKgaomToPveABrYUAAI4A3IPE9Y450.png

前文提到,仿真利用合成数据以推动虚拟化世界的进程,而合成数据离不开另一助力:NVIDIA Omniverse Replicator,一款可扩展的高级 SDK,使开发者能够生成物理精准的 3D 合成数据,并轻松构建自定义合成数据生成 (SDG) 工具,以提高感知网络的训练速度和准确性。真实世界中的数据是昂贵、需要人工标记的,容易出错且不完整,而 Omniverse Replicator 扩展了这些数据,这一引擎能够创建大量、多样化的精确物理数据,以满足机器人开发者的需求。

此外,Isaac Sim 具备人员模拟功能,可将人类角色添加到仓库或生产设施中,并让他们执行堆放包裹、推送小车等常见的任务。目前支持许多常见的行为,模拟这些行为就像发布命令一样简单。

为了最大程度地减少在模拟世界中观察到的结果与在真实世界中看到的结果之间的差距,必须要有符合物理学的传感器模型。凭借NVIDIA RTX技术,Isaac Sim 可以实时渲染来自传感器的符合物理学的数据。在使用 RTX 模拟激光雷达时,光线追踪可以在各种照明条件下,或者在对反射材料做出反应时提供更加准确的传感器数据。

wKgaomToPveAZbdtAAWVKsukTuA592.png

Isaac Sim 还提供了许多新的可模拟 3D 资产,这对于建立符合物理学的模拟环境至关重要。从仓库零件到机器人都是现成的,开发者可以快速开始构建。

我们一起了解了如何在虚拟环境中进行机器人的仿真开发与测试,下一次我们将更进一步,还请继续关注系列内容!

  • 了解NVIDIA Isaac Sim(https://developer.nvidia.com/isaac-sim

  • 参与 DLI Isaac Sim 机器人仿真介绍课程(https://courses.nvidia.com/courses/course-v1:DLI+S-OV-03+V1/

推荐阅读

从 0 到 1 搭建机器人 | 使用 NVIDIA Isaac Sim Replicator 和 TAO 套件进行数据合成和训练

点击“阅读原文”,或扫描下方海报二维码,在 8 月 8日聆听NVIDIA 创始人兼 CEO 黄仁勋在 SIGGRAPH 现场发表的 NVIDIA 主题演讲,了解 NVIDIA 的新技术,包括屡获殊荣的研究,OpenUSD 开发,以及最新的 AI 内容创作解决方案。


原文标题:从 0 到 1 搭建机器人 | 利用 NVIDIA Isaac Sim 创建虚拟环境进行仿真开发与测试

文章出处:【微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英伟达
    +关注

    关注

    22

    文章

    3771

    浏览量

    90991

原文标题:从 0 到 1 搭建机器人 | 利用 NVIDIA Isaac Sim 创建虚拟环境进行仿真开发与测试

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NVIDIA通过加速AWS上的机器人仿真推进物理AI的发展

    NVIDIA Isaac Sim 现在可在 Amazon EC2 G6e 实例中的 NVIDIA GPU 云实例上使用,将机器人
    的头像 发表于 12-09 11:50 284次阅读

    全球大型电子产品制造商利用 Omniverse 和 AI 制定计划

    Omniverse对其工厂和设备布局进行虚拟整合,利用 NVIDIA Isaac Sim
    的头像 发表于 11-23 14:57 514次阅读

    利用NVIDIA Isaac平台构建、设计并部署机器人应用

    机器人在智能制造设施、商业厨房、医院、仓库物流和农业领域等不同环境中的应用正在迅速扩展。该行业正在向智能自动化转变,这需要增强的机器人功能来执行感知、地图构建、导航、负载处理、物体抓取和复杂的装配
    的头像 发表于 11-09 11:41 702次阅读
    <b class='flag-5'>利用</b><b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b>平台构建、设计并部署<b class='flag-5'>机器人</b>应用

    NVIDIA助力Figure发布新一代对话式人形机器人

    该初创公司展示了新型机器人,其使用 NVIDIA Isaac Sim 处理合成数据,并使用基于 NVIDIA 加速计算
    的头像 发表于 11-04 10:10 256次阅读

    机器人仿真的类型和优势

    机器人仿真使机器人工程师和研究人员能够创建机器人及其环境
    的头像 发表于 10-14 10:43 498次阅读
    <b class='flag-5'>机器人</b><b class='flag-5'>仿真</b>的类型和优势

    NVIDIA与学术研究人员联合开发手术机器人

    利用 NVIDIA Isaac SimNVIDIA Omniverse 开发的 ORBIT
    的头像 发表于 10-10 10:00 439次阅读

    使用NVIDIA Edify助力的服务创建3D资产和虚拟环境照明

    使用 NVIDIA Edify 助力的服务创建 3D 资产和虚拟环境照明,或是减半生成图像时间。
    的头像 发表于 08-02 15:22 500次阅读

    NVIDIA提供一套服务、模型以及计算平台 加速人形机器人发展

    开发者可以访问新的 NVIDIA NIM 微服务,用于 Isaac Lab 和 Isaac Sim 中的
    的头像 发表于 07-31 10:41 651次阅读

    NVIDIA 加速人形机器人发展

    开发者可以访问新的 NVIDIA NIM 微服务,用于 Isaac Lab 和 Isaac Sim 中的
    发表于 07-30 09:15 739次阅读
    <b class='flag-5'>NVIDIA</b> 加速人形<b class='flag-5'>机器人</b>发展

    NVIDIA Isaac 机器人平台利用最新的生成式 AI 和先进的仿真技术,加速 AI 机器人技术的发展

    观众展示了用于人形机器人学习的通用基础模型 Project GR00T(代表通用机器人 00 技术)。Project GR00T 利用 NVIDIA
    的头像 发表于 06-04 18:00 7696次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> <b class='flag-5'>机器人</b>平台<b class='flag-5'>利用</b>最新的生成式 AI 和先进的<b class='flag-5'>仿真</b>技术,加速 AI <b class='flag-5'>机器人</b>技术的发展

    全球机器人开发领域采用NVIDIA 机器人开发和生产

    全球十多家机器人行业领先企业,正在将 NVIDIA Isaac 加速库、基于物理学的仿真和 AI 模型集成其软件框架和
    的头像 发表于 06-03 18:25 1230次阅读

    NVIDIA Isaac机器人平台升级,加速AI机器人技术革新

    NVIDIA Isaac机器人平台近期实现重大升级,通过引入最新的生成式AI技术和先进的仿真技术,显著加速了AI机器人技术的发展步伐。该平台
    的头像 发表于 03-27 10:36 672次阅读

    NVIDIA入局人形机器人Isaac平台迎来重要更新

    NVIDIA Isaac 机器人平台利用最新的生成式 AI 和先进的仿真技术,加速 AI 机器人
    的头像 发表于 03-26 09:07 1069次阅读
    <b class='flag-5'>NVIDIA</b>入局人形<b class='flag-5'>机器人</b>!<b class='flag-5'>Isaac</b>平台迎来重要更新

    NVIDIA Isaac将生成式AI应用于制造业和物流业

    NVIDIA Isaac 机器人平台利用最新的生成式 AI 和先进的仿真技术,加速 AI 机器人
    的头像 发表于 03-22 10:06 530次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b>将生成式AI应用于制造业和物流业

    使用 NVIDIA Isaac 仿真并定位 Husky 机器人

    如何使用 ROS 2 Husky 官方软件包将该机器人导入 NVIDIA Isaac Sim创建仿真
    的头像 发表于 12-26 18:05 1320次阅读
    使用 <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> <b class='flag-5'>仿真</b>并定位 Husky <b class='flag-5'>机器人</b>