0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

DeepMind论文登上Nature:困扰数学家几十年的难题,大模型发现全新解

智能感知与物联网技术研究所 来源:未知 2023-12-18 15:55 次阅读

除了模仿人类说话、写作、写代码,大模型还能用来发现新知识。

作为今年 AI 圈的顶流,大型语言模型(LLM)擅长的是组合概念,并且可以通过阅读、理解、写作和编码来帮助人们解决问题。但它们能发现全新的知识吗?

由于 LLM 已被证明存在「幻觉」问题,即生成与事实不符的信息,因此利用 LLM 来做可验证的正确发现是一项挑战。

现在,来自 Google DeepMind 的研究团队提出了一种为数学和计算机科学问题搜索解决方案的新方法 ——FunSearch。FunSearch 的工作原理是将预训练的 LLM(以计算机代码的形式提供创造性解决方案)与自动「评估器」配对,以防止产生幻觉和错误思路。通过在这两个组件之间来回迭代,最初的解决方案演变成了「新的知识」。相关论文发表在《自然》杂志上。


论文地址:https://www.nature.com/articles/s41586-023-06924-6

这项工作是首次利用 LLM 在科学或数学的挑战性开放问题方面取得新发现。

FunSearch 发现了 cap set 问题的全新解决方案,这是数学中一个长期存在的开放问题。此外,为了展示 FunSearch 的实际用途,DeepMind 还用它来发现更有效的算法来解决「装箱」问题,该问题应用广泛,比如可以用于提高数据中心的效率。

研究团队认为 FunSearch 将成为一个特别强大的科学工具,因为它输出的程序揭示了其解决方案是如何构建的,而不仅仅是解决方案是什么。这将会激发科学家的进一步见解,从而形成科学改进与发现的良性循环。

通过语言模型的进化推动发现

FunSearch 采用由 LLM 支持的进化方法,鼓励并推动得分最高的思路想法。这些想法被表达成计算机程序,以便它们可以自动运行和评估。

首先,用户需要以代码的形式编写问题的描述。该描述包括评估程序的过程和用于初始化程序池的种子程序。

FunSearch 是一个迭代过程,在每次迭代中,系统都会从当前的程序池中选择一些程序,并将其馈送到 LLM。LLM 创造性地在此基础上进行构建,生成新的程序,并自动进行评估。最好的程序将被添加回现有程序库中,从而创建一个自我改进的循环。FunSearch 使用 Google 的 PaLM 2,但对其他接受过代码训练的方法兼容。

LLM 会从程序数据库中检索出生成的最佳程序,并被要求生成一个更好的程序。

众所周知,在不同领域发现新的数学知识和算法是一项艰巨的任务,很大程度上超出了当前最先进人工智能系统的能力。为了让 FunSearch 做到这一点,该研究引入了多个关键组件。FunSearch 不是从头开始,而是从关于问题的常识开始一个进化过程,让 FunSearch 专注于寻找最关键的想法以获得新的发现。

此外,FunSearch 的进化过程使用一种策略来提高想法的多样性,以避免出现停滞情况。最后,为了提高系统效率,进化过程是并行运行的。

在数学领域开辟新天地

DeepMind 表示,他们首先要解决的是 Cap set 问题,这是一个开放性难题,几十年来一直困扰着多个研究领域的数学家。知名数学家陶哲轩曾把它描述为自己最喜欢的开放性问题。DeepMind 选择与威斯康星大学麦迪逊分校的数学教授 Jordan Ellenberg 合作,他是 Cap set 问题的重要突破者。

这个问题包括在一个高维网格中找到最大的点集(称为 cap set),其中没有三个点位于一条直线上。这个问题之所以重要,是因为它可以作为极值组合学中其他问题的模型。极值组合学研究的是数字、图或其他对象的集合可能有多大或多小。暴力破解方法无法解决这个问题 —— 要考虑的可能性数量很快就会超过宇宙中原子的数量。

FunSearch 以程序形式生成的解决方案在某些情况下发现了有史以来最大的 cap set。这代表了过去 20 年中 cap set 规模的最大增长。此外,FunSearch 的性能超过了最先进的计算求解器,因为这个问题的规模远远超出了它们目前的能力。

交互式图表显示了从种子程序(上)到新的高分函数(下)的演变。每个圆圈都代表一个程序,其大小与分配给它的分数成正比。图中仅显示底部程序的上级。FunSearch 为每个节点生成的相应函数如右侧所示。

这些结果表明,FunSearch 技术可以让人类超越困难组合问题的既定结果,而在这些问题上很难建立直觉。DeepMind 期望这种方法能够在组合学中类似理论问题的新发现中发挥作用,并在未来为通信理论等领域带来新的可能性。

FunSearch 偏好简洁、可由人类理解的程序

尽管发现新的数学知识本身意义重大,但与传统的计算机搜索技术相比,FunSearch 方法还展现出了其他的优势。这是因为,FunSearch 并不是一个只会生成问题解决方案的黑箱。相反,它生成的程序会描述出这些解决方案是如何得出的。这种「show-your-working」通常是科学家的工作方式,他们通过阐述产生新发现或新现象的过程来解释这些发现或现象。

FunSearch 更倾向于寻找高度紧凑的程序所代表的解决方案,即具有较低 Kolmogorov 复杂度的解决方案(Kolmogorov 复杂度是输出解的最短计算机程序的长度)。简短的程序可以描述非常大的对象,从而使 FunSearch 能够扩展到非常复杂的问题。此外,这也让研究人员更容易理解 FunSearch 的程序输出。Ellenberg 说:「FunSearch 为制定攻击策略提供了一种全新的机制。FunSearch 生成的解决方案在概念上要比单纯的数字列表丰富得多。当我研究它们时,我学到了一些东西。」

更重要的是,FunSearch 程序的这种可解释性可以为研究人员提供可操作的见解。例如,DeepMind 在使用 FunSearch 的过程中注意到,它的一些高分输出的代码中存在耐人寻味的对称性。这让 DeepMind 对问题有了新的认识,他们利用这种认识改进了引入 FunSearch 的问题,从而找到了更好的解决方案。DeepMind 认为,这是人类与 FunSearch 在数学领域的许多问题上进行合作的典范。

左图:通过检查 FunSearch 生成的代码,DeepMind 获得了更多可操作的见解(高亮部分)。右图:使用(更短的)左图程序构造的原始「可接受」集合。

解决一个众所周知的计算难题

在理论 cap set 问题取得成功的鼓舞下,DeepMind 决定将 FunSearch 应用于计算机科学中一个重要的实际挑战 —— 装箱问题(bin packing),以探索它的灵活性。装箱问题关注的是如何将不同尺寸的物品打包到最少数量的箱子中。它是许多现实世界问题的核心,从装载物品的集装箱到数据中心的计算工作分配,这些场景都需要最大限度地降低成本。

在线装箱问题通常使用基于人类经验的算法规则(启发式)来解决。但是,要为每种特定情况(大小、时间或容量各不相同)找到一套规则是非常具有挑战性的。尽管与 cap set 问题非常不同,但为这个问题设置 FunSearch 很容易。FunSearch 提供了一个自动定制的程序(适应数据的具体情况),优于现有的启发式方法 —— 可以使用更少的箱子来打包相同数量的物品。

使用现有启发式 ——Best-fit 启发式(左)和 FunSearch 发现的启发式(右)进行装箱的示例。

像在线装箱这样的复杂组合问题可以使用其他人工智能方法来解决,比如神经网络和强化学习。这些方法也被证明是有效的,但也可能需要大量的资源来部署。另一方面,FunSearch 输出的代码易于检查和部署,这意味着它的解决方案有可能被应用到各种现实工业系统中,从而迅速带来效益。

DeepMind:用大模型应对科学挑战将成普遍做法

FunSearch 证明,如果能防止 LLM 产生幻觉,那么这些模型的力量不仅可以用来产生新的数学发现,还可以用来揭示重要现实问题的潜在解决方案。

DeepMind 认为,对于科学和工业领域的许多问题 —— 无论是长期存在的问题还是新问题 —— 使用 LLM 驱动的方法生成有效和量身定制的算法将成为普遍做法。

其实,这仅仅是一个开始。随着 LLM 不断取得进展,FunSearch 也将不断完善。DeepMind 表示,他们还将努力扩展其功能,以应对社会上各种紧迫的科学和工程挑战。

参考链接:https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/


原文标题:DeepMind论文登上Nature:困扰数学家几十年的难题,大模型发现全新解

文章出处:【微信公众号:智能感知与物联网技术研究所】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 物联网
    +关注

    关注

    2909

    文章

    44598

    浏览量

    373013

原文标题:DeepMind论文登上Nature:困扰数学家几十年的难题,大模型发现全新解

文章出处:【微信号:tyutcsplab,微信公众号:智能感知与物联网技术研究所】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    睿创微纳五&十年功勋员工颁奖大会圆满举行

    12月11日,睿创微纳五&十年功勋员工颁奖大会在烟台园区圆满举行,公司董事长带领核心管理团队为5、10功勋员工颁发纪念银币和金币。   百余名员工获颁纪念银币,以表彰他们五
    的头像 发表于 12-12 10:35 367次阅读

    触觉传感重磅《Nature》!无线、低功耗、多刺激模式触觉电子皮肤(附原论文

    中有广泛的应用。在触觉传感方面,已有众多Nature、Science子刊发表,但是Nature正刊却仍分稀少。           近日,美国西北大学John A. Rogers/黄永刚大连理工大学解兆谦联合团队提出了一个微型
    的头像 发表于 11-14 18:13 729次阅读
    触觉传感重磅《<b class='flag-5'>Nature</b>》!无线、低功耗、多刺激模式触觉电子皮肤(附原<b class='flag-5'>论文</b>)

    颠覆认知:大模型不可靠最新研究登上 Nature

    行业芯事行业资讯
    电子发烧友网官方
    发布于 :2024年09月27日 11:40:10

    谷歌DeepMind被曝抄袭开源成果,论文还中了顶流会议

    谷歌DeepMind一篇中了顶流新生代会议CoLM 2024的论文被挂了,瓜主直指其抄袭了一前就挂在arXiv上的一项研究。开源的那种。
    的头像 发表于 07-16 18:29 575次阅读
    谷歌<b class='flag-5'>DeepMind</b>被曝抄袭开源成果,<b class='flag-5'>论文</b>还中了顶流会议

    清华类脑视觉芯片取得重大突破,“天眸芯”登上Nature封面

    电子发烧友网报道(文/李宁远)5月30日,来自清华大学类脑计算研究中心团队的类脑互补视觉芯片“天眸芯”登上了《Nature》封面。 文章名为“A vision chip
    的头像 发表于 06-01 00:54 4705次阅读
    清华类脑视觉芯片取得重大突破,“天眸芯”<b class='flag-5'>登上</b><b class='flag-5'>Nature</b>封面

    联发科谈未来十年的战略布局

    联发科在近日举行的股东大会上,明确了其未来十年的战略布局。董事长蔡明介表示,公司将重点投入5G、AI、车用及Arm构架运算市场,以谋求长远发展。
    的头像 发表于 05-29 10:39 536次阅读

    谷歌DeepMind发布人工智能模型AlphaFold最新版本

    谷歌DeepMind近日发布了人工智能模型AlphaFold的最新版本——AlphaFold 3,这一革命性的工具将在药物发现和疾病治疗领域发挥巨大作用。
    的头像 发表于 05-10 11:26 589次阅读

    谷歌DeepMind推出新一代药物研发AI模型AlphaFold 3

    谷歌DeepMind公司近日重磅推出了一款名为AlphaFold 3的全新药物研发AI模型,这一创新技术将为科学家们提供前所未有的帮助,使他们能更精确地理解疾病机制,进而开发出更高效的
    的头像 发表于 05-10 09:35 393次阅读

    一文深度梳理AI算力芯片

    几十年前,CPU 作为通用处理器几乎处理所有计算任务,那个时代的显卡有助于加快应用程序中图形的绘制速度。
    的头像 发表于 04-24 15:13 3828次阅读
    一文深度梳理AI算力芯片

    基于静电纺丝纳米纤维的高性能气体传感器综述

    几十年来,气体传感器技术的发展为污染控制和环境保护带来了显著的成效。
    的头像 发表于 03-11 11:29 1054次阅读
    基于静电纺丝纳米纤维的高性能气体传感器综述

    以太网存储网络的拥塞管理连载案例(六)

    消除或减少无损以太网网络拥塞的高级方法与光纤通道结构相同。几十年来,不同的传输类型都采用了类似的方法,只是略有不同。
    的头像 发表于 03-06 16:35 963次阅读
    以太网存储网络的拥塞管理连载案例(六)

    谷歌DeepMind推新AI模型Genie,能生成2D游戏平台

    据报道,谷歌公司的DeepMind团队近期发布了AI模型Genie,此模型拥有多达110亿个参数,能够依据用户提供的图片及提示词创建出相当完整的2D游戏场景。
    的头像 发表于 02-27 14:53 774次阅读

    仿生超构微流控微针贴片,用于高效伤口管理

    在过去的几十年中,微流控芯片作为处理微小液滴或小体积液体样品的小型实验室装置,具有快速分析、小容量处理和成本效益高等优点。
    的头像 发表于 02-19 15:52 1603次阅读
    仿生超构微流控微针贴片,用于高效伤口管理

    谷歌DeepMind学家欲建AI初创公司

    据知情人士透露,谷歌人工智能部门DeepMind的两名杰出科学家Laurent Sifre和Karl Tuyls正在与投资者商讨在巴黎成立一家新的人工智能初创公司的事宜。
    的头像 发表于 01-22 14:41 488次阅读

    SOI+SiN平台上III-V集成的考虑因素

    硅光子是一种光子集成电路,经过几十年的发展,硅光子学已经取得了重大进展
    的头像 发表于 12-26 11:33 860次阅读
    SOI+SiN平台上III-V集成的考虑因素