0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

语言模型做先验,统一强化学习智能体,DeepMind选择走这条通用AI之路

智能感知与物联网技术研究所 来源:未知 2023-07-24 16:55 次阅读

智能体的开发中,强化学习与大语言模型、视觉语言模型等基础模型的进一步融合究竟能擦出怎样的火花?谷歌 DeepMind 给了我们新的答案。

一直以来,DeepMind 引领了强化学习(RL)智能体的发展,从最早的 AlphaGo、AlphaZero 到后来的多模态、多任务、多具身 AI 智能体 Gato,智能体的训练方法和能力都在不断演进。

从中不难发现,随着大模型越来越成为人工智能发展的主流趋势,DeepMind 在智能体的开发中不断尝试将强化学习与自然语言处理、计算机视觉领域融合,努力实现不同模态任务的统一。Gato 很好地说明了这一点。

近日,谷歌 DeepMind 在一篇新论文《Towards A Unified Agent with Foundation Models》中,探讨了利用基础模型打造统一的智能体

263eabb8-29ff-11ee-a368-dac502259ad0.png

一作 Norman Di Palo 为帝国理工学院机器学习博士生,在谷歌 DeepMind 实习期间(任职研究科学家)参与完成本论文。

论文地址:https://arxiv.org/pdf/2307.09668.pdf

何谓基础模型(Foundation Models)呢?我们知道,近年来,深度学习取得了一系列令人瞩目的成果,尤其在 NLP 和 CV 领域实现突破。尽管模态不同,但具有共同的结构,即大型神经网络,通常是 transformer,使用自监督学习方法在大规模网络数据集上进行训练。

虽然结构简单,但基于它们开发出了极其有效的大语言模型(LLM),能够处理和生成具有出色类人能力的文本。同时,ViT 能够在无监督的情况下从图像和视频中提取有意义的表示,视觉语言模型(VLM)可以连接描述语言中视觉输入或将语言描述转换为视觉输出的数据模态。

这些模型的规模和能力使社区创造出了「基础模型」一词,这些模型可以用作涵盖各种输入模态的下游任务的支柱。

问题来了:我们能否利用(视觉)语言模型的性能和能力来设计更高效和通用的强化学习智能体呢?

在接受网络规模的文本和视觉数据训练后,这些模型的常识推理、提出和排序子目标、视觉理解和其他属性也出现了。这些都是需要与环境交互并从环境中学习的智能体的基本特征,但可能需要花费大量的时间才能从反复试错中显现出来。而利用存储在基础模型中的知识,我们能够极大地引导这一过程

受到这一思路的启发,谷歌 DeepMind 的研究者设计了一个全新的框架,该框架将语言置于强化学习机器人智能体的核心,尤其是在从头开始学习的环境中

2670b4c8-29ff-11ee-a368-dac502259ad0.png

图 1:框架示意图。

他们表示,这个利用了 LLM 和 VLM 的框架可以解决强化学习设置中的一系列基础问题,具体如下:

1)高效探索稀疏奖励环境

2)重新使用收集的数据来有序引导新任务的学习

3)调度学得的技巧来解决新任务

4)从专家智能体的观察中学习

在最近的工作中,这些任务需要不同的、专门设计的算法来单独处理,而本文证明了利用基础模型开发更统一方法的可能性

此外,谷歌 DeepMind 将在 ICLR 2023 的 Reincarnating Reinforcement Learning Workshop 中展示该研究。

以语言为中心的智能体框架

该研究旨在通过分析基础模型的使用,设计出更通用的 RL 机器人智能体,其中基础模型在大量图像和文本数据集上进行预训练。该研究为 RL 智能体提出了一个新框架,利用 LLM 和 VLM 的出色能力使智能体能够推理环境、任务,并完全根据语言采取行动。

为此,智能体首先需要将视觉输入映射到文本描述;然后该研究要用文本描述和任务描述 prompt LLM,以向智能体提供语言指令。最后,智能体需要将 LLM 的输出转化为行动。

使用 VLM 连接视觉和语言

为了以语言形式描述从 RGB 相机获取的视觉输入,该研究使用了大型对比视觉语言模型 CLIP。

CLIP 由图像编码器26ab2da6-29ff-11ee-a368-dac502259ad0.png和文本编码器26c86a74-29ff-11ee-a368-dac502259ad0.png组成,在含有噪声的大型图像 - 文本描述对数据集上进行训练。每个编码器输出一个 128 维的嵌入向量:图像嵌入和匹配的文本描述会经过优化以具有较大的余弦相似度。为了从环境中生成图像的语言描述,智能体会将观察Ot提供给26ab2da6-29ff-11ee-a368-dac502259ad0.png并将可能的文本描述 ln提供给26c86a74-29ff-11ee-a368-dac502259ad0.png,如下图 2 所示:

27211a70-29ff-11ee-a368-dac502259ad0.png

用 LLM 进行推理

语言模型将语言形式的 prompt 作为输入,并通过自回归计算下一个 token 的概率分布并从此分布中采样来生成语言形式的输出。该研究旨在让 LLM 获取表征任务的文本指令,并生成一组供机器人解决的子目标。在模型方面,该研究使用 FLAN-T5,定性分析表明,FLAN-T5 的表现略好于未根据指令进行微调的 LLM。

LLM 的 in-context 学习能力使该研究能够直接使用它们,无需进行域内微调,并仅需要提供两个任务指令和所需的语言输出样本来指导 LLM 的行为。

将指令转化为行动

然后,使用语言条件策略网络将 LLM 提供的语言目标转化为行动。该参数化为 Transformer 的网络将语言子目标的嵌入和时间步 t 时的 MDP 状态(包括物体和机器人终端执行器的位置)作为输入,每个输入都用不同的向量表征,然后输出机器人在时间步 t + 1 时要执行的动作。如下所述,该网络是在 RL 循环中从头开始训练的。

收集与推断的学习范式

智能体从与环境的交互中学习,其方法受到收集与推理范式的启发。

在「收集」阶段,智能体与环境互动,以状态、观察结果、行动和当前目标(s_t, o_t, a_t, g_i)的形式收集数据,并通过其策略网络 f_θ(s_t, g_i) → a_t 预测行动。每一集结束后,智能体都会使用 VLM 来推断收集到的数据中是否出现了任何子目标,从而获得额外奖励,将在后面详细说明。

在「推断」阶段,研究者会在每个智能体完成一集后,即每完成 N 集后,通过行为克隆对经验缓冲区中的策略进行训练,从而在成功的情节上实现一种自我模仿。然后,更新后的策略权重将与所有分布式智能体共享,整个过程重复进行。

应用与成果

将语言作为智能体的核心,这为解决 RL 中的一系列基本挑战提供了一个统一的框架。在这部分内容中,研究者讨论了这些贡献:探索、重用过去的经验数据、调度和重用技能以及从观察中学习。算法 1 描述了整体框架:

27c4f56e-29ff-11ee-a368-dac502259ad0.png

探索:通过语言生成课程

Stack X on Y 和 Triple Stack 的结果。在下图 4 中,研究者所提出框架与仅通过环境奖励进行学习的基线智能体进行了比较。从学习曲线可以清楚地看到,在所有任务中,本文的方法都比基线方法高效得多。

值得注意的是,在 Triple Stack 任务中,本文智能体的学习曲线迅速增长,而基线智能体仍然只能获得一个奖励,这是因为任务的稀疏度为 10^6 。

28470860-29ff-11ee-a368-dac502259ad0.png

这些结果说明了一些值得注意的问题:可以将任务的稀疏程度与达到一定成功率所需的步骤数进行比较,如下图 5 所示。研究者还在 「抓取红色物体」任务上训练了该方法,这是三个任务中最简单的一个,其稀疏程度约为 10^1。可以看到,在本文的框架下,所需步骤数的增长速度比任务的稀疏程度更慢。这是一个特别重要的结果,因为通常在强化学习中,情况是正好相反的。

2891a4b0-29ff-11ee-a368-dac502259ad0.png

提取和转移:通过重用离线数据进行高效的连续任务学习

研究者利用基于语言的框架来展示基于智能体过去经验的引导。他们依次训练了三个任务:将红色物体堆叠在蓝色物体上、将蓝色物体堆叠在绿色物体上、将绿色物体堆叠在红色物体上,将其称之为 [T_R,B、T_B,G、T_G,R]。

顺序任务学习的经验重用结果。智能体应用这种方法连续学习了 [T_R,B、T_B,G、T_G,R]。在每个新任务开始时,研究者都会重新初始化策略权重,目标是探索本文框架提取和重用数据的能力,因此要隔离并消除可能由网络泛化造成的影响。

下图 7 中绘制了智能体需要在环境中采取多少交互步骤才能在每个新任务中达到 50% 的成功率。实验清楚地说明了本文使用技术在重复利用以前任务收集的数据方面的有效性,从而提高了新任务的学习效率。

28f4a4ac-29ff-11ee-a368-dac502259ad0.png

这些结果表明,本文提出的框架可用于释放机器人智能体的终身学习能力:连续学习的任务越多,学习下一个任务的速度就越快。

调度和重复使用所学技能

至此,我们已经了解到框架如何使智能体能够高效地探索和学习,以解决回报稀少的任务,并为终身学习重复使用和传输数据。此外,框架还能让智能体调度和重复使用所学到的 M 技能来解决新任务,而不局限于智能体在训练过程中遇到的任务。

这种模式与前几节中遇到的步骤相同:一条指令会被输入到 LLM,如将绿色物体叠放在红色物体上,或将红色叠放在蓝色物体上,再将绿色叠放在红色物体上,然后 LLM 会将其分解为一系列更短视距的目标,即 g_0:N。然后,智能体可以利用策略网络将这些目标转化为行动,即 f_θ(s_t, g_n) → a_t。

从观察中学习:将视频映射到技能

通过观察外部智能体学习是一般智能体的理想能力,但这往往需要专门设计的算法和模型。而本文智能体可以以专家执行任务的视频为条件,实现 one-shot 观察学习。

在测试中,智能体拍摄了一段人类用手堆叠物体的视频。视频被分为 F 个帧,即 v_0:F。然后,智能体使用 VLM,再配上以子目标 g_0:M 表示的关于所学技能的 M 文本描述来检测专家轨迹遇到了哪些子目标,具体如下图 8:

29c3656c-29ff-11ee-a368-dac502259ad0.png

更多技术细节和实验结果请查阅原论文。


原文标题:语言模型做先验,统一强化学习智能体,DeepMind选择走这条通用AI之路

文章出处:【微信公众号:智能感知与物联网技术研究所】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 物联网
    +关注

    关注

    2903

    文章

    44262

    浏览量

    371173

原文标题:语言模型做先验,统一强化学习智能体,DeepMind选择走这条通用AI之路

文章出处:【微信号:tyutcsplab,微信公众号:智能感知与物联网技术研究所】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    蚂蚁集团收购边塞科技,吴翼出任强化学习实验室首席科学家

    领域的研究与发展。令人瞩目的是,边塞科技的创始人吴翼已正式加入该实验室,并担任首席科学家职。 吴翼在其个人社交平台上对这变动进行了回应。他表示,自己最近接受了蚂蚁集团的邀请,负责大模型强化
    的头像 发表于 11-22 11:14 228次阅读

    【书籍评测活动NO.51】具身智能机器人系统 | 了解AI的下个浪潮!

    的。 这种理论强调,智能行为源于智能的物理存在和行为能力,智能必须具备感知环境并在其中执行任务的能力。 具身
    发表于 11-11 10:20

    如何使用 PyTorch 进行强化学习

    的计算图和自动微分功能,非常适合实现复杂的强化学习算法。 1. 环境(Environment) 在强化学习中,环境是个抽象的概念,它定义了智能
    的头像 发表于 11-05 17:34 219次阅读

    言犀智能平台上线了!赶紧来试试!连接大模型与企业应用的“最后公里”

    言犀智能平台是企业级站式 AI 智能搭建与发布平台。聚合大
    的头像 发表于 08-07 14:47 219次阅读

    【《大语言模型应用指南》阅读体验】+ 基础知识学习

    和判断以确定最终答案。这过程可能涉及对多个候选答案的比较、评估和选择。最终,模型会生成段符合语言规范和逻辑结构的文本作为问题的答案。 应
    发表于 08-02 11:03

    【《大语言模型应用指南》阅读体验】+ 基础篇

    今天开始学习《大语言模型应用指南》第篇——基础篇,对于人工智能相关专业技术人员应该可以轻松加愉快的完成此篇阅读,但对于我还是有许多的知识点
    发表于 07-25 14:33

    Python在AI中的应用实例

    Python在人工智能AI)领域的应用极为广泛且深入,从基础的数据处理、模型训练到高级的应用部署,Python都扮演着至关重要的角色。以下将详细探讨Python在AI中的几个关键应用
    的头像 发表于 07-19 17:16 925次阅读

    模型应用之路:从提示词到通用人工智能(AGI)

    铺平道路。 基于AI模型的推理功能,结合了RAG(检索增强生成)、智能(Agent)、知识库、向量数据库、知识图谱等先进技术,我们向实现真正的AGI(
    的头像 发表于 06-14 10:20 2108次阅读
    大<b class='flag-5'>模型</b>应用<b class='flag-5'>之路</b>:从提示词到<b class='flag-5'>通用人工智能</b>(AGI)

    通过强化学习策略进行特征选择

    更快更好地学习。我们的想法是找到最优数量的特征和最有意义的特征。在本文中,我们将介绍并实现种新的通过强化学习策略的特征选择。我们先讨论强化学习
    的头像 发表于 06-05 08:27 319次阅读
    通过<b class='flag-5'>强化学习</b>策略进行特征<b class='flag-5'>选择</b>

    模型不够用,还有“AI智能”?

    前不久,在场活动中有人工智能专家围绕“AI智能”的话题展开了讨论,他们表示,AI
    的头像 发表于 05-12 08:04 344次阅读
    大<b class='flag-5'>模型</b>不够用,还有“<b class='flag-5'>AI</b><b class='flag-5'>智能</b><b class='flag-5'>体</b>”?

    【大语言模型:原理与工程实践】大语言模型的预训练

    语言模型的核心特点在于其庞大的参数量,这赋予了模型强大的学习容量,使其无需依赖微调即可适应各种下游任务,而更倾向于培养通用的处理能力。然而
    发表于 05-07 17:10

    【大语言模型:原理与工程实践】揭开大语言模型的面纱

    学习能力。这些模型以生成能力强和灵活性强为特点,逐渐演变成通用计算平台。其参数多样性、生成能力和涌现性使其不仅在自然语言处理领域表现出色
    发表于 05-04 23:55

    谷歌DeepMind推出SIMI通用AI智能

    近日,谷歌的DeepMind团队发布了其最新研究成果——SIMI(Scalable Instructable Multiworld Agent),这是通用人工智能智能
    的头像 发表于 03-18 11:39 892次阅读

    名单公布!【书籍评测活动NO.30】大规模语言模型:从理论到实践

    阶段训练的奖励模型,对有监督微调模型对用户提示词补全结果的质量进行评估,与语言模型建模目标综合得到更好的效果。这
    发表于 03-11 15:16

    拆解大语言模型RLHF中的PPO算法

    由于本文以大语言模型 RLHF 的 PPO 算法为主,所以希望你在阅读前先弄明白大语言模型 RLHF 的前两步,即 SFT Model 和 Reward Model 的训练过程。另外因
    的头像 发表于 12-11 18:30 2076次阅读
    拆解大<b class='flag-5'>语言</b><b class='flag-5'>模型</b>RLHF中的PPO算法