0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

ACM“深度学习三巨头”访谈录

DPVg_AI_era 来源:lq 2019-06-15 11:02 次阅读

2018年图灵奖得主,“深度学习三巨头”Geoffrey Hinton, Yann LeCun和Yoshua Bengio早年也曾饱受嘲笑,但终于熬过寒冬。近日,ACM通讯对三人进行了专访。

虽然曾遭受怀疑甚至嘲笑,2018年图灵奖获得者Geoffrey Hinton, Yann LeCun和Yoshua Bengio在他们的研究生涯中不断发展人工神经网络,他们的研究成果如今已经成为从搜索到内容过滤等各个领域不可或缺的技术。

那么,如今炙手可热的深度学习和人工智能领域怎样了呢?ACM通讯采访了三位图灵奖获得者,分享了他们发现的令人兴奋的问题,以及仍然存在的挑战。

现在,关于人工智能的讨论远远比您刚开始职业生涯时要多——其中有些是充分了解的,有些则不然。您希望人们不要再问哪些问题?

Geoffrey Hinton

Geoffrey Hinton:“神经网络是不是仅仅是泡沫?”在过去,AI领域的人做出了很多承诺,但有时结果被证明仅仅是泡沫。但是,神经网络远远超出了他们的承诺。神经网络确实是有效的。而且,神经网络还能扩展。只要你给它提供更多的数据和更快的计算机,它就自动能变得更好,而不需要任何人为它编写更多的代码。

Yann LeCun:没错,深度学习的基本理念不会消失,但当人们问我,要让机器变得更智能,是不是只要简单地扩展现有的方法就可以了。这种问题仍然令人沮丧。我们需要新的模式。

Yoshua Bengio:目前的技术已经有多年的工业和科学应用。话虽如此,我们三人都是研究人员,我们总是迫不及待地想要更多,因为我们目前离人类水平的人工智能还很远,离理解智能的原理(不管是自然的还是人工的智能)都还很远。

哪些问题还讨论得不够呢?

Yoshua Bengio

Hinton:大脑是如何工作的?人们会讨论这个问题,但讨论的人还不够多。

Bengio:没错。遗憾的是,尽管深度学习从大脑和认知科学获得灵感,但如今许多做深度学习的工程师并不关心这些话题。这是有道理的,因为如果你是在工业上应用深度学习,大脑和认知并不重要。但就研究而言,我认为如果我们不能与那些试图了解大脑工作原理的人保持合作,那将是一个巨大的损失。

Yann LeCun

Hinton:也就是说,神经科学家现在正在认真研究这个问题。多年来,神经科学家认为,“人工神经网络与真实的大脑非常不同,它们不会告诉我们大脑是如何工作的。”现在,神经科学家们正在认真考虑像反向传播这样的现象在大脑中发生的可能性,这是一个非常令人兴奋的领域。

LeCun:目前,几乎所有关于人类和动物视觉的研究都使用卷积网络作为标准概念模型。直到最近,情况才有所改变。

Hinton:我认为这对社会科学也会产生巨大的影响,因为它会慢慢地改变我们对人的看法。我们过去把人看作理性的存在,而人的独特之处在于他们用推理来得出结论。现在,我们对人的本质有了更好的理解,认为人类基本上就是巨大的类比制造机器。他们非常缓慢地开发出这些表示,然后他们开发的表示决定了他们可以做出的类比的类型。当然,我们可以进行推理,没有推理就没有数学,但这不是我们思考的基本方式。

对于开拓性的研究人员来说,您似乎非常不愿意满足于现状。

Hinton:我认为发明了现在的标准技术的人有一些特别之处。它们并不是上帝赐予的,很可能也还有其他更好的技术。然而,当一个领域已经有了一种标准的工作方式时,新进入这个领域的人并不完全理解这种标准方式是多么武断。

Bengio:学生们有时谈论神经网络就好像他们在描述圣经一样。

LeCun:这造成了一代人的教条主义。不过尽管如此,一些最具创新性的想法很可能来自比我们年轻得多的人。

目前这个领域的进展速度十分惊人。如果你在二三十年前就预料到今天的情况,你会感到惊讶吗?

LeCun:让我感到惊讶的事情太多了。比如,我感到惊讶的是,深度学习革命来得如此之晚,但一旦革命开始,我也惊讶它的发展速度是如此之快。我本以为事情会更循序渐进,但在20世纪90年代中期至2000年代中期,人们放弃了整个神经网络的想法。我们有证据表明,神经网络在那之前也是有效的。但后来,一旦神经网络的demo变得无可争议,其发展就势不可挡了:首先是在语音识别领域,然后是图像识别,现在是自然语言理解。

Hinton:如果20年前有人对我说,可以把一种语言中的句子分割成小的单词片段,然后将这些片段输入给一个始于随机连接的神经网络,然后训练神经网络,神经网络能将这个句子翻译成另一种语言,而不需要任何语法或语义方面的只是——完全没有运用到语言学知识——并且翻译效果比任何其他方法都更好。我会很惊讶。虽然这种翻译并不完美,不如能说两种语言的人翻译得好,但已经越来越接近了。

LeCun:同样令人惊讶的是,这些技术在如此之多的行业中变得如此有用,而且发展速度极快。如果你现在把深度学习从谷歌或Facebook这两家公司中抽离出来,那么这两家公司都会崩溃;它们的业务完全是围绕着深度学习构建的。当年我加入Facebook时,有一件事让我感到惊讶,就是有一小群人使用卷积网络进行人脸识别。我对卷积网络的第一直觉是,它可能对物体分类这种识别有用:

Bengio:当我在攻读博士学位时,我一直在努力扩展这样一个想法,即神经网络不仅仅可以进行模式识别——将一个固定大小的向量作为输入并生成类别。但是直到最近我们的转化工作才突破了这个范围。正如Yann所说,创造新事物的能力确实具有革命性。所以有能力操纵任何类型的数据结构,而不仅仅是像素和向量。传统上,神经网络仅限于人类能够快速且无意识地完成的任务,比如识别物体和图像。现代神经网络在本质上与我们在20世纪80年代思考的东西不一样,它们能做的事情更接近我们推理和编程时做的事情。

Yoshua,尽管取得了这些进展,但您之前还是谈到让发展中国家更容易利用这一技术的紧迫性。

Bengio:我认为这一点很重要。我过去对政治问题没有太多的思考,但机器学习和人工智能已经走出大学校园,我认为现在我们有责任考虑这一点,并参与关于这些技术如何利用的社会和政治讨论。其中一个问题是,专有技术、财富和技术将在哪里集中?往往会集中在少数几个国家和地区、几个公司和一小部分人手中,我们要设法使这些技术更容易获取,让这些技术为更广泛的国家和地区的更多的人们带来更大的变化。

Hinton:Google已开源了其开发神经网络的主要软件TensorFlow,你还可以在云端使用专门的Google网络硬件。Google正努力使这种技术尽可能广泛地为更多的人所使用。

LeCun:我认为这是一个非常重要的问题。深度学习社群非常善于促进公开研究的理念,不仅是在学术领域,在学术会议在公开发表论文、评论和评注,而且在企业界,像Google和Facebook这样的公司也在将自己开发绝大部分软件进行开源,并为他人提供基于这些软件的工具。因此,任何人都可以在几天内再现其他人的研究成果。

这样,无论在任何研究领域,任何顶尖的研究团队都无法其他研究团队领先几个月。重要的是,整个研究领域的发展速度飞快。因为我们真正想要构建的是一种“虚拟助理”,它可以回答我们提出的任何问题,并帮助我们在日常生活中度过难关。目前我们缺乏构建这种虚拟助理的技术,而且没有掌握相关的基本科学原理。我们可以培养整个研究社群来解决这一问题,这对我们大家都有好处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4772

    浏览量

    100857
  • 图灵
    +关注

    关注

    1

    文章

    39

    浏览量

    9714
  • 深度学习
    +关注

    关注

    73

    文章

    5504

    浏览量

    121246

原文标题:Hinton:不要再问神经网络是不是泡沫 | ACM专访2018图灵奖得主

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NPU在深度学习中的应用

    随着人工智能技术的飞速发展,深度学习作为其核心驱动力之一,已经在众多领域展现出了巨大的潜力和价值。NPU(Neural Processing Unit,神经网络处理单元)是专门为深度学习
    的头像 发表于 11-14 15:17 647次阅读

    GPU深度学习应用案例

    GPU在深度学习中的应用广泛且重要,以下是一些GPU深度学习应用案例: 一、图像识别 图像识别是深度学习
    的头像 发表于 10-27 11:13 407次阅读

    激光雷达技术的基于深度学习的进步

    维空间信息。这使得激光雷达在自动驾驶、无人机、机器人等领域具有广泛的应用前景。 二、深度学习技术的发展 深度学习是机器学习的一个分支,它通过
    的头像 发表于 10-27 10:57 421次阅读

    AI大模型与深度学习的关系

    AI大模型与深度学习之间存在着密不可分的关系,它们互为促进,相辅相成。以下是对两者关系的介绍: 一、深度学习是AI大模型的基础 技术支撑 :深度
    的头像 发表于 10-23 15:25 869次阅读

    FPGA做深度学习能走多远?

    ,共同进步。 欢迎加入FPGA技术微信交流群14群! 交流问题(一) Q:FPGA做深度学习能走多远?现在用FPGA做深度学习加速成为一个热门,深鉴科技,商汤,旷视科技等都有基于FPG
    发表于 09-27 20:53

    深度学习中的时间序列分类方法

    时间序列分类(Time Series Classification, TSC)是机器学习深度学习领域的重要任务之一,广泛应用于人体活动识别、系统监测、金融预测、医疗诊断等多个领域。随着深度
    的头像 发表于 07-09 15:54 1001次阅读

    深度学习中的无监督学习方法综述

    深度学习作为机器学习领域的一个重要分支,近年来在多个领域取得了显著的成果,特别是在图像识别、语音识别、自然语言处理等领域。然而,深度学习模型
    的头像 发表于 07-09 10:50 793次阅读

    深度学习与nlp的区别在哪

    深度学习和自然语言处理(NLP)是计算机科学领域中两个非常重要的研究方向。它们之间既有联系,也有区别。本文将介绍深度学习与NLP的区别。 深度
    的头像 发表于 07-05 09:47 961次阅读

    深度学习中的模型权重

    深度学习这一充满无限可能性的领域中,模型权重(Weights)作为其核心组成部分,扮演着至关重要的角色。它们不仅是模型学习的基石,更是模型智能的源泉。本文将从模型权重的定义、作用、优化、管理以及应用等多个方面,深入探讨
    的头像 发表于 07-04 11:49 1425次阅读

    人工智能、机器学习深度学习是什么

    在科技日新月异的今天,人工智能(Artificial Intelligence, AI)、机器学习(Machine Learning, ML)和深度学习(Deep Learning, DL)已成为
    的头像 发表于 07-03 18:22 1323次阅读

    深度学习常用的Python库

    深度学习作为人工智能的一个重要分支,通过模拟人类大脑中的神经网络来解决复杂问题。Python作为一种流行的编程语言,凭借其简洁的语法和丰富的库支持,成为了深度学习研究和应用的首选工具。
    的头像 发表于 07-03 16:04 663次阅读

    深度学习与传统机器学习的对比

    在人工智能的浪潮中,机器学习深度学习无疑是两大核心驱动力。它们各自以其独特的方式推动着技术的进步,为众多领域带来了革命性的变化。然而,尽管它们都属于机器学习的范畴,但
    的头像 发表于 07-01 11:40 1420次阅读

    深度解析深度学习下的语义SLAM

    随着深度学习技术的兴起,计算机视觉的许多传统领域都取得了突破性进展,例如目标的检测、识别和分类等领域。近年来,研究人员开始在视觉SLAM算法中引入深度学习技术,使得
    发表于 04-23 17:18 1306次阅读
    <b class='flag-5'>深度</b>解析<b class='flag-5'>深度</b><b class='flag-5'>学习</b>下的语义SLAM

    为什么深度学习的效果更好?

    导读深度学习是机器学习的一个子集,已成为人工智能领域的一项变革性技术,在从计算机视觉、自然语言处理到自动驾驶汽车等广泛的应用中取得了显著的成功。深度
    的头像 发表于 03-09 08:26 638次阅读
    为什么<b class='flag-5'>深度</b><b class='flag-5'>学习</b>的效果更好?

    什么是深度学习?机器学习深度学习的主要差异

    2016年AlphaGo 击败韩国围棋冠军李世石,在媒体报道中,曾多次提及“深度学习”这个概念。
    的头像 发表于 01-15 10:31 1095次阅读
    什么是<b class='flag-5'>深度</b><b class='flag-5'>学习</b>?机器<b class='flag-5'>学习</b>和<b class='flag-5'>深度</b><b class='flag-5'>学习</b>的主要差异