0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

【重磅】DeepMind发布通用强化学习新范式,自主机器人可学会任何任务

DPVg_AI_era 来源:未知 作者:邓佳佳 2018-03-19 14:45 次阅读


新智元报道

来源:DeepMind

编译:Marvin

【新智元导读】DeepMind今天发表博客文章,提出一种称为SAC-X(计划辅助控制)的新学习范式,旨在解决让AI以最少的先验知识,从头开始学习复杂控制问题的挑战。这在真实环境中成功让机械臂从头开始学习拾放物体。研究者认为,SAC-X是一种通用的强化学习方法,未来可以应用于机器人以外的更广泛领域。

让孩子(甚至成年人)在使用物品之后自己收拾可能是颇有挑战性的事情,但我们面临一个更大的挑战:试图让我们的AI也这样做。成功与否取决于AI是否掌握几个核心的视觉运动技能:接近一个物体,抓住并举起它,然后打开一个盒子并把物体放进里面。使事情更复杂的是,这些技能还必须用正确的顺序做。

控制任务(control tasks),例如整理桌子或堆放物体,要求agent能够确定如何、何时以及在哪里协调它的模拟手臂和手指的9个关节,以正确地移动物体,实现它的目标。在任何给定一段时间里,可能的运动组合数量会非常庞大,并且需要执行一系列正确的操作,这就构成了一个严峻的探索性问题——使得这成为强化学习研究的一个特别有趣的领域。

奖赏塑形(reward shaping)、学徒学习(apprenticeship learning)以及示范学习等技巧可以帮助解决这个问题。但是,这些方法依赖于大量的关于任务的知识——以最少的先验知识,从头开始学习复杂控制问题,仍然是一个公开的挑战。

DeepMind近日发表的新论文“Learning by Playing - Solving Sparse Reward Tasks from Scratch”提出一种新的学习范式,称为“Scheduled Auxiliary Control (SAC-X)”(计划辅助控制),旨在解决这个问题。SAC-X的想法是要从头开始学习复杂的任务,那么agent必须先学习探索和掌握一套基本的技能。就像婴儿在学会爬行和走路之前必须先发展协调和平衡的能力一样,向agent提供一些与简单的技能相对应的内部(辅助)目标可以增加它理解和成功执行更复杂任务的机会。

我们在几个模拟的和真实的机器人任务中演示了SAC-X的方法,包含各种任务,例如不同类物体的堆叠问题,场地整理问题(需要将物体放入盒子)。 我们定义的辅助任务遵循一个总原则:它们鼓励agent去探索它的感知空间( sensor space)。 例如,激活它的手指上的触摸传感器,感知其手腕受到的力,使其本体感受传感器( proprioceptive sensors)中的关节角度达到最大,或强制物体在其视觉相机传感器中移动。如果达到了目标,每个任务会关联到一个简单的奖励,否则奖励为零。

图2:agent学习的第一件事是激活手指上的触摸传感器,并移动两个物体。

图3:模拟agent最终掌握了“堆叠”物体这个复杂任务。

然后,agent就可以自行决定它当前的“意图”(intention),即接下来的目标。目标可以是辅助任务或外部定义的目标任务。更重要的是,agent可以通过充分利用off-policy learning来检测并从其他任务的奖励信号学习。例如,在拾取或移动一个物体时,agent可能会顺便把它堆叠起来,从而得到“堆叠”的奖励。由于一系列简单的任务可以导致观察到罕见的外部奖励,所以将“意图”进行安排(schedule)的能力是至关重要的。这可以根据所收集到的所有相关知识创建一个个性化的学习课程。

事实证明,这是在如此大的一个领域中充分利用知识的一种有效方法,而且在只有很少的外部奖励信号的情况下尤其有用。我们的agent通过一个 scheduling 模块来决定遵循那个意图。在训练过程中,scheduler通过一个meta-learning算法进行优化,该算法试图使主任务的进度最大化,从而显著提高数据效率。

图4:在探索了许多内部辅助任务之后,agent学习如何堆叠和整理物体。

我们的评估显示,SAC-X能够解决我们从头设置的所有任务——使用相同的底层辅助任务集。更令人兴奋的是,我们在实验室的一个真实的机械臂上直接利用SAC-X,成功地从头开始学会了拾取和放置任务。过去,这一点特别具有挑战性,因为真实世界中机器人的学习需要数据效率,所以主流的方法是在模拟环境中预训练(pre-train)一个agent,然后将agent转移到真实的机械臂。

图5:在真正的机械臂上,SAC-X学习如何从头开始拾取和移动绿色方块。它此前从未见过这一任务。

我们认为SAC-X是从头开始学习控制任务的重要一步,只需指定一个总体目标。SAC-X允许你任意定义辅助任务:可以基于一般性认识(例如在个实验中是故意激活传感器),但最终可以包含研究人员认为重要的任何任务。从这个角度看,SAC-X是一种通用的强化学习方法,不止是控制和机器人领域,可以广泛应用于一般的稀疏强化学习环境。

这一工作由以下研究者共同完成:Martin Riedmiller, Roland Hafner, Thomas Lampe, Michael Neunert, Jonas Degrave, Tom Van de Wiele, Volodymyr Mnih, Nicolas Heess and Tobias Springenberg.


【2018 新智元 AI 技术峰会倒计时28天】大会早鸟票已经售罄,现正式进入全额票阶段。


2017 年,作为人工智能领域最具影响力的产业服务平台——新智元成功举办了「新智元开源 · 生态技术峰会」和「2017AIWORLD 世界人工智能大会」。凭借超高活动人气及行业影响力,获得2017 年度活动行 “年度最具影响力主办方”奖项。

其中「2017AIWORLD 世界人工智能大会」创人工智能领域活动先河,参会人次超 5000;开场视频在腾讯视频点播量超 100 万;新华网图文直播超 1200 万;

2018 年的 3 月 29 日,新智元再汇 AI 之力,共筑产业跃迁之路,将在北京举办 2018 年中国 AI 开年盛典——2018 新智元 AI 技术峰会。本次峰会以 “产业 · 跃迁” 为主题,特邀诺贝尔奖评委 德国人工智能研究中心创始人兼 CEO Wolfgang Wahlster 亲临现场与谷歌、微软、亚马逊、BAT、科大讯飞、京东和华为等企业重量级嘉宾,共同研讨技术变革,助力领域融合发展。

新智元诚挚邀请关心人工智能行业发展的各界人士 3 月 29 日亲临峰会现场,共同参与这一跨领域的思维碰撞。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

原文标题:【重磅】DeepMind发布通用强化学习新范式,自主机器人可学会任何任务

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    【「具身智能机器人系统」阅读体验】+初品的体验

    解决许多技术的和非技术的挑战,如提高智能体的自主性、处理复杂环境互动的能力及确保行为的伦理和安全性。 未来的研究需要将视觉、语音和其他传感技术与机器人技术相结合,以探索更加先进的知识表示和记忆模块,利用强化学习进一步优化决策过程
    发表于 12-20 19:17

    《具身智能机器人系统》第1-6章阅读心得之具身智能机器人系统背景知识与基础模块

    物理交互纳入智能系统的核心要素。 第3章是探讨机器人计算系统。这一章节详细阐述了自主机器人的软硬件架构。计算系统需要满足机器人任务对算法的精度、实时性和功耗要求。书中介绍的多传感器融合
    发表于 12-19 22:26

    《人形机器人产业地图(2024)》重磅发布

    在11月29日举办的2024高工人形机器人年会上,高工机器人产业研究所(GGII)重磅发布《人形机器人产业地图(2024)》(以下简称“产业
    发表于 12-02 09:17 494次阅读
    《人形<b class='flag-5'>机器人</b>产业地图(2024)》<b class='flag-5'>重磅</b><b class='flag-5'>发布</b>!

    【书籍评测活动NO.51】具身智能机器人系统 | 了解AI的下一个浪潮!

    的。 这种理论强调,智能行为源于智能体的物理存在和行为能力,智能体必须具备感知环境并在其中执行任务的能力。 具身智能的实现涵盖了机器学习、人工智能、机器人学、计算机视觉、自然语言处理和
    发表于 11-11 10:20

    如何使用 PyTorch 进行强化学习

    强化学习(Reinforcement Learning, RL)是一种机器学习方法,它通过与环境的交互来学习如何做出决策,以最大化累积奖励。PyTorch 是一个流行的开源
    的头像 发表于 11-05 17:34 281次阅读

    “0元购”智元灵犀X1机器人,软硬件全套图纸和代码全公开!资料免费下载!

    10月24日,智元机器人重磅宣布,其自主研发的全栈开源机器人智元灵犀X1面向全球开发者正式开源,智元机器人再次履行了其在8月18日新品
    发表于 10-25 15:20

    地瓜机器人发布一系列通用机器人套件

    在“机器人+”浪潮的推动下,地瓜机器人近日隆重推出了一系列面向未来的软硬件产品组合,旨在赋能新一代通用机器人的发展。此次发布的亮点包括旭日5智能计算芯片、RDK X5
    的头像 发表于 09-25 15:56 313次阅读

    谷歌借助Gemini AI系统深化对机器人的训练

    7月12日,国际科技界传来新动态,谷歌正借助其先进的Gemini AI系统,深化对旗下机器人的训练,旨在显著提升它们的导航能力和任务执行能力。DeepMind机器人团队最新
    的头像 发表于 07-12 16:29 628次阅读

    ROS让机器人开发更便捷,基于RK3568J+Debian系统发布

    本帖最后由 Tronlong创龙科技 于 2024-7-19 17:18 编辑 ROS系统是什么 ROS(Robot Operating System)是一个适用于机器人的开源的元操作系统。它
    发表于 07-09 11:38

    Al大模型机器人

    丰富的知识储备。它们可以涵盖各种领域的知识,并能够回答相关问题。灵活性与通用性: AI大模型机器人具有很强的灵活性和通用性,能够处理各种类型的任务和问题。持续
    发表于 07-05 08:52

    逐际动力携手英伟达Isaac平台, 助力通用机器人研发

    在近日举行的年度计算机视觉与模式识别会议(CVPR)上,英伟达发布了其最新版本的NVIDIA Isaac Sim。与此同时,逐际动力也宣布将采用这一升级版的Isaac平台,以强化学习和提升通用机器人的泛化能力为核心目标,推动
    的头像 发表于 06-21 09:34 2394次阅读

    通过强化学习策略进行特征选择

    来源:DeepHubIMBA特征选择是构建机器学习模型过程中的决定性步骤。为模型和我们想要完成的任务选择好的特征,可以提高性能。如果我们处理的是高维数据集,那么选择特征就显得尤为重要。它使模型能够
    的头像 发表于 06-05 08:27 349次阅读
    通过<b class='flag-5'>强化学习</b>策略进行特征选择

    现代战场中地面机器人的应用与影响

    人工智能(AI)可以不断提升自主机器人的能力,这意味着地面机器人越来越有能力与人类并肩执行任务。到2030年,预计全球无人地面车辆的数量将从目前的1.5万辆增长到4万辆。
    发表于 04-20 09:19 421次阅读

    NVIDIA发布一款人形机器人通用基础模型—Project GR00T

    NVIDIA 于今日发布人形机器人通用基础模型 Project GR00T,旨在进一步推动其在机器人和具身智能方面的突破。
    的头像 发表于 03-20 10:00 656次阅读

    DeepMind引领机器人技术革新:从“机器人宪法”到高效决策

    机器人宪法”的灵感来自美国科幻小说家艾萨克·阿西莫夫(Isaac Asimov)提出的“机器人三定律”,它被描述为一组“以安全为重点的提示”,指示LLM避免选择涉及人类、动物、尖锐物体甚至电器的任务
    发表于 01-12 10:32 201次阅读
    <b class='flag-5'>DeepMind</b>引领<b class='flag-5'>机器人</b>技术革新:从“<b class='flag-5'>机器人</b>宪法”到高效决策