0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

抽象推理是机器通向人类智能的最终障碍

电子工程师 来源:YXQ 2019-05-17 15:05 次阅读

谷歌 I/O 2019 大会的第三天,图灵奖得主、 Google Brain 高级研究员 Geoffrey Hinton 同《连线》杂志主编 Nicholas Thompson 进行了一场对话访谈。对话中, Hinton 回顾了他 40 年探索深度神经网络的经历并概述了他对胶囊网络最新研究

Geoffrey Hinton ,被誉为“神经网络之父”“深度学习鼻祖”,如今 AI 领域无人不知的“大神”。然而他的学术研究之路却并非一帆风顺。

上世纪 80 年代, Hinton 提出了人工神经网络作为机器学习研究的想法,当时的计算力还不足以处理复杂算法,也没有大量的数据,几乎所有研究人员都不看好他的观点。这类研究在主流学术圈中是“边缘课题”。

只有 Hinton 和少部分研究员在研究神经网络的工作原理。 Hinton 回忆道,当时的处境十分艰难,就算到了 2004 年,距他们最初开发出 “反向传播网络 Back-propagation Network ” 算法已经过去 20 年,学术界和工业界的绝大部分研究者还是不感兴趣。

(来源:YouTube )

Hinton 在访谈中吐露了他一直坚持研究神经网络的原因。“人脑工作只有一种方式——通过学习神经元之间的连接强度来运作。如果想让计算机变得智能,只有两个选择,编程或者让机器自己学习。排除编程,我们只能想办法让机器学习。”因此他坚信,模拟人脑工作的人工神经网络一定是实现机器智能的正确方式

图灵预言的坚信者

在整个宇宙中,人类大脑是最复杂的物体之一,包含大约 1000 亿个互相连接的神经元。人们通过视觉、听觉、嗅觉、味觉和触觉从外部世界感知的一切,都是这些神经元之间通过突触传递信号完成的。然而,大脑中的深层机制仍然是神秘的,研究人员要想完全理解神经元内部运作过程还有很长的路要走。

图 | 计算机先驱艾伦·图灵(来源:AFP)

不过,这并没有阻止计算机科学家试图模拟大脑运行机制来打造机器智能。Hinton 指出,计算机先驱艾伦 · 图灵在 70 年前就提出大脑是一个没有组织、通过权重随机连接的二元神经网络。图灵认为机器获取智能的最佳途径就是模仿人类大脑,这引领了神经网络机器系统的发展。20 世纪 80 年代,Hinton 提出的反向传播算法实现了神经网络的历史性突破,这种算法能够有效地训练人工神经网络并显著提高其性能。

20 世纪 90 年代,数据集相对较小,计算力也远不如现在这么强大,深度学习进展在很大程度上停滞不前。在小数据集处理上,使用少量标记数据可以有效判别分类的支持向量机(support vector machines)比神经网络效果更好。很多曾经支持图灵想法的研究员都开始退缩了,但这并没有动摇 Hinton 对神经网络的信念。他从未想过要放弃深度神经网络的研究。

Hinton 在访谈中讲到:“大脑神经元运行机制必须要弄清楚,也许还有很多学习神经元连接强度的方法,大脑用了其中一种,也会有其他的方法。但是总得学会一种方法,我从没有怀疑过这一点。”

深度神经网络迎来突破

在 20 世纪 80 年代,如果神经网络中有很多隐藏层,通常没有办法训练。Yann LeCun 发明的卷积神经网络(CNN)只能训练简单的任务,比如实现机器读取手写任务,对于大部分深度神经网络,根本不知道如何训练。

图 | 2018 年图灵奖得主 Yann LeCun 、Geoffrey Hinton 和 Yoshua Bengio (从左至右)

直到 2006 年,Hinton 发表了一篇 “深度信念网络的快速学习算法(A fast learning algorithm for deep belief nets )之后,深度学习才开始快速发展起来。这篇论文展示了具有许多隐藏层的深层信念网络如何生成一个能识别出手写数字且表现良好的模型。之后,Hinton 在 2012 NIPS 上发表的论文又提出了 AlexNet 模型,在图片识别上取得了重大突破,他多年研究工作的重要性才被整个工业界认可。

一些深度神经网络的突出应用,特别是在自然语言处理领域,甚至让 Hinton 都感到惊讶:“如果你在 2012 年和我说,在接下来的 5 年时间里,要用相同的技术实现在多种语言之间互相翻译的效果,Recurrent Net(循环神经网络),但如果只是随机初始权重的随机梯度下降,我不相信能实现。”

“99.9%的信心”

今天,在视觉处理、语音识别等人类利用感官感知做的活动中,人工神经网络已经表现出强大的优势,甚至在人类擅长的运动控制方面,深度学习也最终将会取胜。

Hinton 强调,他不是在研究计算神经科学,人工神经网络之所以有效,是因为受到大脑神经元之间有很多联系、并且改变了连接强度这一事实的启发。

Hinton 认为抽象推理是人工神经网络通向人类智能需要克服的最后一个障碍

记者问到,人类大脑中是否存在一些奥秘是神经网络无法捕捉到的?比如意识、情感、爱等。

Hinton 的回答是不存在。他解释道,“一百年前,人们对生命的的理解是所有生物都有生命力,一旦死去,生命力就飘走了。但是我们懂了生物化学、分子生物学,就不需要 “生命力” 来解释生命了。我觉得‘意识’也是这个道理,‘意识’是用某种‘特殊的本质’来尝试解释心理现象,而一旦我们用科学解释了意识,你就不需要这种‘特殊的本质’了。

换句话说,一旦等到真正理解了大脑是如何工作的,人类大脑生成的任何东西都可以通过功能完备的人工神经网络重建。

Hinton 对此有“99.9%的信心”。

胶囊网络的最新研究

Hinton 告诉《连线》记者,他目前正在做的研究称之为“胶囊(capsules)”,是关于如何运用重建(reconstruction)进行视觉感知的理论,以及如何将信息传递到正确的位置。在标准神经网络中,信息,也就是网络层的活动,都是随机去向某个地方,胶囊的作用是决定信息发送到哪里。

目前谷歌的一些研究人员也在做同样的事情,他们发明了 transformer 模型,正在研究怎样规划信息路线。 推动胶囊研究的另一个东西是坐标系。人类在做视觉感知时,需要使用坐标系。如果在对象上施加了错误的坐标系,甚至不能识别该对象。对于人类而言,坐标系对于感知非常重要。Hinton 说,“胶囊网络也许可以运用到其他领域,但我对视觉识别的应用很感兴趣。”

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    210

    文章

    28086

    浏览量

    205790
  • 人工智能
    +关注

    关注

    1789

    文章

    46615

    浏览量

    236966

原文标题:“深度学习鼻祖” Hinton:抽象推理是机器通向人类智能的最终障碍

文章出处:【微信号:deeptechchina,微信公众号:deeptechchina】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    具身智能机器学习的关系

    (如机器人、虚拟代理等)通过与物理世界或虚拟环境的交互来获得、发展和应用智能的能力。这种智能不仅包括认知和推理能力,还包括感知、运动控制和环境适应能力。具身
    的头像 发表于 10-27 10:33 227次阅读

    解锁机器人视觉与人工智能的潜力,从“盲人机器”改造成有视觉能力的机器人(上)

    正如人类依赖眼睛和大脑来解读世界,机器人也需要自己的视觉系统来有效运作。没有视觉,机器人就如同蒙上双眼的人类,仅能执行预编程的命令,容易碰撞障碍
    的头像 发表于 10-12 09:56 298次阅读
    解锁<b class='flag-5'>机器</b>人视觉与人工<b class='flag-5'>智能</b>的潜力,从“盲人<b class='flag-5'>机器</b>”改造成有视觉能力的<b class='flag-5'>机器</b>人(上)

    如何加速大语言模型推理

    随着人工智能技术的飞速发展,大语言模型(LLM)已成为自然语言处理领域的核心工具,广泛应用于智能客服、文本生成、机器翻译等多个场景。然而,大语言模型的高计算复杂度和资源消耗成为其在实际应用中面临
    的头像 发表于 07-04 17:32 440次阅读

    开源项目!设计一款智能手语翻译眼镜

    和精确的手语翻译。这款智能手语翻译眼镜不仅是一个技术突破,更是通向障碍沟通世界的一大步。 硬件部分 本项目中,需要一台功能强大的单板计算机(SBC)来处理手语翻译中涉及的复杂任务。虽然最初考虑
    发表于 05-20 15:59

    中国面向人工智能的数据治理 行业研究报告

    电子发烧友网站提供《中国面向人工智能的数据治理 行业研究报告.pdf》资料免费下载
    发表于 05-10 17:22 0次下载

    【大语言模型:原理与工程实践】大语言模型的应用

    ,它通过抽象思考和逻辑推理,协助我们应对复杂的决策。 相应地,我们设计了两类任务来检验大语言模型的能力。一类是感性的、无需理性能力的任务,类似于人类的系统1,如情感分析和抽取式问答等。大语言模型在这
    发表于 05-07 17:21

    Groq LPU崛起,AI芯片主战场从训练转向推理

    人工智能推理的重要性日益凸显,高效运行端侧大模型及AI软件背后的核心技术正是推理。不久的未来,全球芯片制造商的主要市场将全面转向人工智能推理
    的头像 发表于 02-29 16:46 1057次阅读

    “单纯靠大模型无法实现 AGI”!万字长文看人工智能演进

    人工智能是指让计算机或机器具有类似于人类智能的能力,如学习、推理、解决问题和使用语言、常识、创造力、情感和道德等。
    的头像 发表于 02-19 14:22 1022次阅读
    “单纯靠大模型无法实现 AGI”!万字长文看人工<b class='flag-5'>智能</b>演进

    AI算法的本质是模拟人类智能,让机器实现智能

    视觉等领域。   AI 算法的核心是实现智能化的决策和行为   AI算法的本质在于模拟人类智能的能力,让计算机能够对现实世界进行模拟和模仿,从而达到智能化的目的。具体来说,AI算法可以
    的头像 发表于 02-07 00:07 5512次阅读

    基于生成式人工智能的工业软件自主创新路径分析

    当前,以ChatGPT 为代表的预训练大模型 展现出自主学习、跨模态理解、推理抽象思维和人类社会理解等特征优势,正引发新一轮人工智能范式革命
    的头像 发表于 01-17 10:37 1313次阅读
    基于生成式人工<b class='flag-5'>智能</b>的工业软件自主创新路径分析

    HarmonyOS:使用MindSpore Lite引擎进行模型推理

    场景介绍 MindSpore Lite 是一款 AI 引擎,它提供了面向不同硬件设备 AI 模型推理的功能,目前已经在图像分类、目标识别、人脸识别、文字识别等应用中广泛使用。 本文介绍
    发表于 12-14 11:41

    ChatGPT掀智力革命!OpenAI发布AGI路线图,最终通向超级智能世界

    如果AGI最终成功构建,这项技术不仅可以带来更多可能性,推动全球经济发展,还能改变新兴科学知识的发现,从方方面面帮助人类提升生活水平。
    的头像 发表于 11-25 12:09 834次阅读
    ChatGPT掀智力革命!OpenAI发布AGI路线图,<b class='flag-5'>最终</b><b class='flag-5'>通向</b>超级<b class='flag-5'>智能</b>世界

    java抽象类可以有普通方法吗

    Java中的抽象类可以有普通方法,但它也可以有抽象方法。抽象类是一种中间状态,介于普通类和接口之间。它允许定义方法的具体实现,同时也可以定义一些没有具体实现的抽象方法。 通过在定义方法
    的头像 发表于 11-21 10:22 1425次阅读

    java接口是特殊的抽象类吗

    Java接口是一种特殊的抽象类吗? 在Java编程语言中,接口(interface)与抽象类(abstract class)是两种不同的概念,尽管它们之间存在一些相似之处,但在设计和使用上有着明显
    的头像 发表于 11-21 10:07 584次阅读

    Java中抽象类和接口的介绍

    Java是一种面向对象的编程语言,提供了抽象类和接口两种机制来帮助开发人员组织和管理代码。本文将详细介绍Java语言中抽象类和接口的概念、特点、使用方式以及它们之间的区别和联系。 抽象类 1.1
    的头像 发表于 11-21 09:47 428次阅读