0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

加强模拟的更大价值 —— 给真实机器人一双灵巧的“手”

NVIDIA英伟达企业解决方案 来源:未知 2022-12-09 01:15 次阅读

人类的手是数百万年进化过程中最了不起的成果之一。我们能够拿起各种物体并将它们作为工具使用,这是我们与其他动物的最大区别之一,这也使我们能够改变周围的世界。

要想让机器人在人类的日常生活中工作,机器人必须能够与我们的工具和周围的环境进行灵巧的互动。如果没有这种能力,它们就只能继续留在工厂、仓库等专门的领域发挥作用。

虽然有腿的机器人只需要一段时间就可以学会如何行走,但实践证明有手的机器人控制起来的难度要大得多。带有手指的机器人手有更多的关节,它们的运动必须经过特定的协调后才能完成指定的任务。传统的机器人控制方法需要预先对抓取和运动进行精确的编程,因此无法实现人类认为理所当然的那种“普通”精细运动控制技能。

解决这些问题的方法之一是采用深度强化学习(RL)技术训练一个控制机器人关节的神经网络。通过深度强化学习,机器人能够从试验和错误中学习,并在成功完成指定任务后得到奖励。然而学习这种技术可能需要数百万甚至数十亿样本,因此它几乎不可能直接应用于现实中的机器人。

7c0270ca-7717-11ed-8abf-dac502259ad0.gif

DeXtreme 将模拟环境中的灵巧操作转移到现实世界

模拟的应用

NVIDIA 的 Isaac 机器人模拟器能够创造一个用于训练机器人的模拟空间,这个空间的运行速度比现实世界快 1 万多倍,但是遵守物理法则。

从事 DeXtreme 项目的 NVIDIA 研究者们,利用 RL 机器人训练模拟器 Isaac Gym 教机器人手如何将一个立方体摆放到指定的目标位置和方向或姿态。神经网络大脑可以在模拟中学会这一操作之后,再被移植到现实世界中控制机器人。

之前,只有 OpenAI 的研究者们展示过一次类似的工作。不过,他们的工作需要一个更复杂、更昂贵的机器人手,一个带有精确运动控制传感器的立方体,而且需要使用由数百台计算机组成的超级计算集群进行训练。

灵巧性训练的大众化

为了使世界各地的研究者都能够复制我们的实验,DeXtreme 项目选择了尽可能简单、便宜的硬件。机器人本身是一台 Allegro Hand,其成本只有其他一些机器人的 1/10,它有四根手指并且没有可以移动的手腕。我们使用现成的 RGB 摄像头作为追踪立方体的“眼睛”,这样就可以在不使用特殊硬件的情况下根据需要轻松移动立方体。立方体是 3D 打印的,每个面都有贴纸。

7ca8a95e-7717-11ed-8abf-dac502259ad0.png

一个简单、可负担的现成系统是实现可复制性的关键。DeXtreme 使用的是三个 RGB 摄像头、一个 3D 打印的立方体和一个高性价比的机器人手,所以大家也应该可以轻松尝试。

DeXtreme 使用 Isaac Gym 进行训练,该模拟器可提供一个用于强化学习的端到端 GPU 加速模拟环境。NVIDIA PhysX 在 GPU 上模拟出场景。在深度学习控制策略网络的训练过程中,结果会保留在 GPU 内存中。因此,这项训练可以在一台 Omniverse OVX 服务器上进行。在这个系统上训练一个好的策略大约需要 32 小时,相当于一个机器人在现实世界中 42 年的经验。

由于不需要单独的 CPU 集群进行模拟,因此在目前的云租赁价格下,训练所产生的计算成本降低了 10-200 倍。使用 Isaac Gym 训练模型大大减少了训练的时间和成本。

感知和合成数据

为了让机器人知道它所持的立方体的位置和方向,需要为机器人加上一个感知系统。为了控制成本并为将来操控其他物体留出余地,DeXtreme使用了三个现成的摄像头和一个可以解释立方体姿态的神经网络。

该网络通过使用 Omniverse Replicator 生成的约 500 万帧合成数据训练而成,没有使用任何真实的图像。它学习了如何在具有挑战性的真实环境中执行任务。为了使训练更加有效,我们使用了一种叫做域随机化的技术来改变照明和摄像机的位置,同时使用数据增强技术添加随机裁剪、旋转和背景。

7cd80b5e-7717-11ed-8abf-dac502259ad0.gif

DeXtreme NVIDIA Omniverse Replicator 合成数据通过随机改变背景、照明和摄像机角度来训练一个强大的感知网络

DeXtreme 姿态估计系统非常可靠,即便是在目标物体被部分遮挡或者图像有明显运动模糊的情况下也能准确感知到姿态。

7d0a5424-7717-11ed-8abf-dac502259ad0.gif

DeXtreme 姿态估计器的计算机视觉模型在立方体的一部分被人手遮挡时的输出结果

现实世界中的机器人训练依然困难重重

使用模拟的主要原因之一是直接在现实世界中训练机器人会产生各种难题。例如机器人硬件在过度使用后容易损坏、实验的迭代周期和周转时间可能很长等。

7f1e0918-7717-11ed-8abf-dac502259ad0.gif

除了模拟之外,机器人还必须解决所有现实中的机械和物理学问题

我们在实验中经常发现在长期使用后需要对机械手进行修理,例如拧紧松动的螺丝、更换带状电缆、在进行 10-15 次试验后需要让机械手休息并等待它冷却等。在模拟中,我们是在一个不会损坏的机器人上进行训练,所以能够避开许多这样的问题,同时还能获得学习高难度任务所需的大量数据。而且模拟的运行速度比实时训练快得多,所以迭代周期大幅缩短。

在模拟环境中训练的最大问题是需要缩小模拟和现实世界之间的差距。为了解决这个问题,DeXtreme 对模拟器中设置的物理属性使用了域随机化,可一次在超过十万个模拟环境中大规模地改变物体的质量、摩擦水平和其他属性。

随机化所带来的好处之一是让我们可以使用各种不常见的场景组合来训练人工智能,这能保证机器人在现实世界执行任务时的稳健性。例如,我们在现实机器人上的大部分实验都是在由于电路板上的连接松动而导致拇指轻微失灵的情况下进行的。尽管如此,我们还是对这些策略能够从模拟可靠地转移到现实世界而感到惊讶。

7fa01110-7717-11ed-8abf-dac502259ad0.gif

经过超过 32 小时的强化学习,DeXtreme 机器人能够在根据指定目标旋转立方体的任务中反复取得成功

从模拟到现实

未来机器人操作领域的突破将催生出新一批不仅限于传统工业用途的机器人应用。DeXtreme 项目所传达的核心信息是:模拟可以成为训练复杂机器人系统的一个非常有效的工具,包括需要不断接触环境中的物体的机器人系统。我们使用成本相对较低的硬件来证明这一点是为了鼓励大家使用我们的模拟工具并在此基础上继续努力。

关于 DeXtreme 项目的更多细节,请查看论文并访问项目网页:https://dextreme.org/


原文标题:加强模拟的更大价值 —— 给真实机器人一双灵巧的“手”

文章出处:【微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英伟达
    +关注

    关注

    22

    文章

    3872

    浏览量

    92444

原文标题:加强模拟的更大价值 —— 给真实机器人一双灵巧的“手”

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    兆威机电发布机器人灵巧手重磅新品!单板控制,17个自由度,寿命大于10年

    机器人灵巧手,是人形机器人上的关键零部件。   目前国内有多家企业已经具备了相关核心技术与产业化能力,近期,兆威机电更是展出了自己的机器人灵巧
    的头像 发表于 11-15 00:08 4895次阅读
    兆威机电发布<b class='flag-5'>机器人</b><b class='flag-5'>灵巧</b>手重磅新品!单板控制,17个自由度,寿命大于10年

    汉威科技柔性触觉传感器:为人形机器人装上“中国触觉”

    企业的技术竞速背后,一双双灵巧手”正悄然成为产业焦点。而在这些机械手指的每次抓握、触碰与反馈中,种名为“柔性触觉传感器”的核心器件,正在重新定义
    的头像 发表于 02-27 15:46 352次阅读
    汉威科技柔性触觉传感器:为人形<b class='flag-5'>机器人</b>装上“中国触觉”

    女性机器人能否代替女性

    ,旨在模拟甚至在某些功能上超越人类女性的生理与心理特征。而“替代”词,则隐含着种功能、角色或价值的等量或更优替换。然而,当我们深入剖析这
    的头像 发表于 02-08 15:49 222次阅读

    【「具身智能机器人系统」阅读体验】2.具身智能机器人的基础模块

    次生成深度信息。 自主机器人定位任务的本质是对机器人自身状态的估计问题,包括位置,朝向,速度等问题。 路径规划旨在找到从起点到目标区域的路径,确保路径的可行性和最优性。路径规划方法包括变分方法,图搜
    发表于 01-04 19:22

    【「具身智能机器人系统」阅读体验】2.具身智能机器人大模型

    的局限性以及衡量大模型的关键指标。阅读了该部分后,我感受到了种前所未有的震撼,这种震撼不仅来源于技术本身的先进性,更来源于它对传统机器人控制方式的颠覆。 传统机器人的局限性与大模型的变革 传统的
    发表于 12-29 23:04

    【「具身智能机器人系统」阅读体验】1.全书概览与第章学习

    非常感谢电子发烧友提供的这次书籍测评活动!最近,我直在学习大模型和人工智能的相关知识,深刻体会到机器人技术是个极具潜力的未来方向,甚至可以说是推动时代变革的重要力量。能参与这次活动并有机会深入
    发表于 12-27 14:50

    《具身智能机器人系统》第7-9章阅读心得之具身智能机器人与大模型

    将自然语言理解与运动规划融为体。这种端到端的方法使机器人能够直接从人类指令生成动作序列,大幅简化了控制流程。该项目的工作流程包含设计并封装一个人机器人函数库、编写清晰地描述提示词、在仿真环境中执行
    发表于 12-24 15:03

    【「具身智能机器人系统」阅读体验】+数据在具身人工智能中的价值

    提供了对机器人环境和动作的统和详细的理解。只有在这些过程之后,数据才能有效地用于训练 EAI 系统。 目前,应用 Sim2Real 技术的主要障碍是“现实差距”,即模拟环境与现实世界之间的差异,包括物理
    发表于 12-24 00:33

    从市场角度对机器人的基本解读

    自人工智能机器人发展至今,几乎都是从学术方面对机器人进行定义诠释。现今机器人市场化发展程度已逐步进入多领域不同场景的融合应用,对实际市场已经可以发挥定的使用
    的头像 发表于 12-07 01:06 360次阅读
    从市场角度对<b class='flag-5'>机器人</b>的基本解读

    虹科携手Seed Robotics,开启机器人灵巧手合作新篇章

    近日,虹科与SeedRobotics正式建立合作伙伴关系,双方将在机器人灵巧手领域展开深入合作,共同推动人工智能、神经科学、心理学和认知科学等领域的创新研究与应用发展。此次合作,虹科
    的头像 发表于 12-05 01:00 510次阅读
    虹科携手Seed Robotics,开启<b class='flag-5'>机器人</b><b class='flag-5'>灵巧</b>手合作新篇章

    鸿蒙机器人与鸿蒙开发板联动演示

    鸿蒙机器人与鸿蒙开发板联动演示,机器人的角色为迎宾机器人,开发板负责人宾客出现监听
    发表于 12-02 14:55

    灵巧手成为机器人竞争下半场,但空心杯电机要失宠了?

    )细节时也特别谈到了灵巧手。他表示,下代Optimus的手部将有22个自由度,前代版本拥有11个自由度,“它看起来非常像人类的,可以弹钢琴,甚至可以弹吉他。”   从10+自由度
    的头像 发表于 10-30 01:09 3005次阅读

    堪称地表最强“打工人”,人形机器人Figure02领衔灵巧手进化

    电子发烧友网报道(文/黄晶晶)日前,人形机器人公司Figure AI宣布推出全新代Figure 02机器人产品,可谓在硬件和软件上都进行了从零开始的重新设计。Figure AI创
    的头像 发表于 08-11 01:05 4019次阅读
    堪称地表最强“打工人”,人形<b class='flag-5'>机器人</b>Figure02领衔<b class='flag-5'>灵巧</b>手进化

    Al大模型机器人

    金航标kinghelm萨科微slkor总经理宋仕强介绍说,萨科微Al大模型机器人有哪些的优势?萨科微AI大模型机器人由清华大学毕业的天才少年N博士和王博士团队开发,与同行相比具有许多优势:语言
    发表于 07-05 08:52

    日本食品机器人可以与食物交流,以此改变你的味觉

    这款机器人外型为苹果口味软糖,拥有两只圆溜溜的大眼和一双挥动自如的手臂,能够发声说:“您好,我非常期待与您对话。”此外,它还有节奏地摇动躯干。
    的头像 发表于 05-27 11:11 370次阅读