0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

一朵乌云出人意料地降临到了机器学习界,或将“颠覆”机器学习理论

电子工程师 来源:lq 2019-01-18 16:19 次阅读

20世纪30年代,奥地利数学家Kurt Gödel向世人证明,集合论中的“连续统假设(continuum hypothesis)”既无法被证明,也无法被证伪。

一个彻头彻尾的悖论。

自此,这一悖论如乌云般笼罩于数学界,并给数学的根基带了革命性的改变。

而今,这一朵乌云出人意料地降临到了机器学习界,或将“颠覆”机器学习理论。

这一研究的最新结果已被发表于1月7日的Nature Machine Intelligence。

那么,什么是“连续统假设(continuum hypothesis)”?这一假设对机器学习而言又意味着什么呢?

近日,几位研究机器学习问题的数学家表示,“可学习性”问题——即算法能否从有限的数据中提取模式——与被称为连续统假设(continuum hypothesis)的悖论有关。数学家Gödel曾表示,使用标准数学语言不能证明该假设是真是假。

“对我们来说,这是一个惊喜,”该论文的作者之一、以色列理工学院(Technio)的Amir Yehudayoff说,虽然有许多技术数学问题被同样认为“不可判定”,但他之前并没有想到这种现象会出现在机器学习中一个相对简单的问题上。

英国斯旺西大学( Swansea University, UK)的计算机科学家John Tucker说,这篇论文是“关于我们知识局限性的重量级结果”,对数学和机器学习都具有基础性意义。

并非所有无限集合都是大小相等的

研究人员通常根据算法是否可以被推广应用来定义可学习性。比如,算法会回答“是或否”类型的问题,例如“这张图是否是只猫?”。通过有限数量的数据进行训练,然后应用于猜测新数据的答案。

Yehudayoff和他的合作者在研究可学习性和“压缩”之间的联系时得出了结论,这意味着找到一种方法,来总结较小数据集中大量数据的显着特征。 作者发现,信息被有效压缩的能力可以被归结为集合理论中的一个问题——对象的数学集合,例如温氏图中的集合。特别是对于涉及包含无限多个对象的不同大小的集合。

集合论的创始人Georg Cantor在19世纪70年代证明,并非所有的无限集都是大小相等的:特别值得一提是,整数的集合比所有实数的集合“小”,也称为连续统(continuum)。(实数包括无理数,有理数和整数。)Cantor还推测不可能存在“中间”大小的集合,即大于整数但小于连续统的集合。但他无法证明这种连续统假设,许多追随他的数学家和逻辑学家也未能证明。

他们的努力是徒劳的。

Gödel 1940年的成果(最终由美国数学家 Paul Cohen于20世纪60年代完成)表明,连续统假设不能从标准公理被证明为真或假——这一结论在集合理论上被认为是真的,并通常被认为是所有数学的基础。

Gödel 和Cohen关于连续统假设的研究表明,可以存在兼容标准数学的并行数学宇宙,其中一个连续统假设被添加到标准公理并因此被宣布为真,而另一个则被宣布为假。

可学习性的不稳定性

在最新的论文中,Yehudayoff和他的合作者将可学习性定义为通过采样少量数据点来预测较大数据集的能力。与Cantor问题的联系是,选择较小的采样集合的方式有无限种,但这个无限集合有多大却是未知的。

论文作者继续表明,如果连续统假设为真,那么一个小样本就足以进行外推。但如果它为假,那么将需要无限的样本。通过这种方式,他们表明可学习性问题等同于连续统假设。因此,可学习性问题也处于不稳定状态,只有通过选择公理宇宙才能解决。

Yehudayoff说,这一结果也有助于更好地理解可学习性。“如果你想了解‘学习’,压缩和泛化之间的联系非常重要。”

伦敦大学学院的计算机科学家Peter O’Hearn说,研究人员发现了许多类似的“不可判定”问题。特别是,继Gödel的工作之后,共同创立算法理论的Alan Turing发现了一类任何计算机程序都无法保证能在任何有限的步骤中解答的问题。

但这种不可判定性是“罕见的”,而且更令人惊讶的是,O'Hearn补充说:它指出了 Gödel 的发现对任何数学语言都存在内在不完整性。这些发现可能对机器学习理论很重要,尽管“不确定它会在实际应用中产生多大影响”。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 计算机科学
    +关注

    关注

    1

    文章

    142

    浏览量

    11357
  • 机器学习
    +关注

    关注

    66

    文章

    8373

    浏览量

    132395

原文标题:非真,亦非假——20世纪数学悖论入侵机器学习

文章出处:【微信号:BigDataDigest,微信公众号:大数据文摘】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    什么是机器学习?通过机器学习方法能解决哪些问题?

    计算机系统自身的性能”。事实上,由于“经验”在计算机系统中主要以数据的形式存在,因此机器学习需要设法对数据进行分析学习,这就使得它逐渐成为智能数据分析技术的创新源之
    的头像 发表于 11-16 01:07 191次阅读
    什么是<b class='flag-5'>机器</b><b class='flag-5'>学习</b>?通过<b class='flag-5'>机器</b><b class='flag-5'>学习</b>方法能解决哪些问题?

    NPU与机器学习算法的关系

    在人工智能领域,机器学习算法是实现智能系统的核心。随着数据量的激增和算法复杂度的提升,对计算资源的需求也在不断增长。NPU作为种专门为深度学习
    的头像 发表于 11-15 09:19 266次阅读

    具身智能与机器学习的关系

    (如机器人、虚拟代理等)通过与物理世界虚拟环境的交互来获得、发展和应用智能的能力。这种智能不仅包括认知和推理能力,还包括感知、运动控制和环境适应能力。具身智能强调智能体的身体和环境在智能发展中的重要性。 2. 机器
    的头像 发表于 10-27 10:33 266次阅读

    【「时间序列与机器学习」阅读体验】时间序列的信息提取

    个重要环节,目标是从给定的时间序列数据中提取出有用的信息和特征,以支持后续的分析和预测任务。 特征工程(Feature Engineering)是数据转换为更好地表示潜在问题的特征,从而提高机器学习
    发表于 08-17 21:12

    【《时间序列与机器学习》阅读体验】+ 时间序列的信息提取

    之前对《时间序列与机器学习书进行了整体浏览,并且非常轻松愉快的完成了第章的学习,今天开始学习
    发表于 08-14 18:00

    【「时间序列与机器学习」阅读体验】+ 鸟瞰这本书

    清晰,从时间序列分析的基础理论出发,逐步深入到机器学习算法在时间序列预测中的应用,内容全面,循序渐进。每章都经过精心设计,对理论知识进行了
    发表于 08-12 11:28

    【「时间序列与机器学习」阅读体验】+ 简单建议

    细微差异导致的错误,这无疑增加了调试的难度。因此,我个人建议,书中若能在关键代码段旁边添加二维码,链接到可在线运行验证的代码环境,极大地提升读者的学习效率和体验。这样来,读者不仅
    发表于 08-12 11:21

    【《时间序列与机器学习》阅读体验】+ 了解时间序列

    。 可以探索现象发展变化的规律,对某些社会经济现象进行预测。 利用时间序列可以在不同地区国家之间进行对比分析,这也是统计分析的重要方法之。 而《时间序列与机器学习
    发表于 08-11 17:55

    机器学习算法原理详解

    机器学习作为人工智能的个重要分支,其目标是通过让计算机自动从数据中学习并改进其性能,而无需进行明确的编程。本文深入解读几种常见的
    的头像 发表于 07-02 11:25 735次阅读

    机器学习在数据分析中的应用

    随着大数据时代的到来,数据量的爆炸性增长对数据分析提出了更高的要求。机器学习作为种强大的工具,通过训练模型从数据中学习规律,为企业和组织提供了更高效、更准确的数据分析能力。本文
    的头像 发表于 07-02 11:22 542次阅读

    深度学习与传统机器学习的对比

    在人工智能的浪潮中,机器学习和深度学习无疑是两大核心驱动力。它们各自以其独特的方式推动着技术的进步,为众多领域带来了革命性的变化。然而,尽管它们都属于机器
    的头像 发表于 07-01 11:40 1177次阅读

    名单公布!【书籍评测活动NO.35】如何用「时间序列与机器学习」解锁未来?

    和专业知识,对这领域进行系统的梳理和总结。然而,时间序列分析与机器学习技术相结合的书籍却并不多见。 以上正是《时间序列与机器
    发表于 06-25 15:00

    SnapAI和机器学习引入Snapchat

    Snap首席执行官伊万·斯皮格近日宣布,公司加大投资力度,人工智能和机器学习技术深度引入其主打社交应用Snapchat,以进步提升用户
    的头像 发表于 05-21 09:31 473次阅读

    请问PSoC™ Creator IDE可以支持IMAGIMOB机器学习吗?

    。 我发现IMAGIMOB 是个很好的解决方案来满足我的需求,但现在的问题是, PSoC™ Creator 不支持 IMAGIMOB! PSoC™ Creator 可以支持机器学习
    发表于 05-20 08:06

    如何使用TensorFlow构建机器学习模型

    在这篇文章中,我逐步讲解如何使用 TensorFlow 创建个简单的机器学习模型。
    的头像 发表于 01-08 09:25 907次阅读
    如何使用TensorFlow构建<b class='flag-5'>机器</b><b class='flag-5'>学习</b>模型