0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

在深度学习如日中天的现在,三巨头又在忙活着什么?

lviY_AI_shequ 来源:lp 2019-04-13 10:43 次阅读

上上周,AI圈最大的事情,没有之一,就是图灵奖,终于终于,终于颁给了深度学习三巨头。

关于GeoffreyHinton和他的两位学生YoshuaBengio、YannLeCun的故事,在消息出来后的几天里,理所当然完成了刷屏。

即使AI从业者和爱好者基本已经对这三位的事迹耳熟能详,但他们“高举着火焰,冲过了最黑暗的时代”的英雄主义情结,还是能够轻易让远离AI世界的人们动容。

“三巨头”和深度学习的经历,事实上是一幕从学术边缘开始,在产业狂欢中自证,再回头征服主流学术界的故事。起伏线索简直比好莱坞大片还要好莱坞。

然而现实人生和电影最大的区别或许在于,电影可以在高潮处戛然而止,留给观众意味深长的壮美。但生活还要继续,日子还得过,AI还得发展。深度学习并不会因为图灵奖的到来而画上圆满的句号。

如果说三巨头在全世界都不相信深度学习时的执拗,最终换来了图灵奖和一句句“泰斗”的赞美声;那么我们今天更应该留意的,或许是在深度学习如日中天的现在,三巨头又在忙活着什么?他们现在所忙的,是不是又映射着AI的未来?

咱们不妨换个角度,不说他们可歌可泣的当年,而是聊聊三巨头的现在。

需要注意的是,这里并不打算把三人及团队的每一篇论文都整理出来,而是希望从他们在AI爆发之际的选择,读出些许关于深度学习未来走势与先天不足的底层规律。

YannLeCun:

产学候鸟与AI圈鲁迅

三巨头中最频繁活跃在大众视线里的,是YannLeCun。

为什么很多不认识Hinton的人也认识YannLeCun?这个AI界的未解之谜有很多解释。

不靠谱的解释包括,YannLeCun这个名字非常适合写成杨丽坤,所以好记。再比如说他的招牌式笑容很容易让人觉得AI没那么枯燥。

而靠谱的解释是,YannLeCun是三人中进入产业世界程度最深的那一位,甚至一度被视作AI科学家走向商业世界的代表人物。

2013年,YannLeCun突然加入Facebook是一件非常有爆炸力的事。大家既不理解Facebook要AI科学家干嘛,也不明白YannLeCun去一个社交媒体做什么。

来到Facebook之后,YannLeCun一手创立了FAIR。这不是个律师事务所,而是Facebook人工智能实验室。

必须要承认,作为FAIR一把手的YannLeCun,在那几年间是有不少作为的。比如大幅度提升了Facebook的自动化运营能力,提高了广告等Facebook生命线的智能化程度。而另一方面,充满理想主义精神和学者气息的YannLeCun还把FAIR搞成了硅谷最有乌托邦味道的实验室之一。

在Facebook,FAIR的专家们关注那些天马行空的前瞻性技术,以及AI如何在未来造福全人类。在扎克伯格的默许与支持下,FAIR的红火甚至一度被认为是硅谷的工程师文化要向科学家文化交枪。

此外,YannLeCun个人魅力也成为Facebook快速招到顶级科学家的利器,5年中,FAIR扩大到6个办公地点,有近100名研究员。与吴恩达、李飞飞并列,YannLeCun也被称为由学校到企业的三位AI明星之一。

但随着团队规模的不断扩大,YannLeCun作为理想派科学家,逐渐暴露出了团队管理能力的不足。加上2017年Facebook风雨飘摇,在整体业务改革之后,业务线开始向FAIR索取更多直接的、有助于提升业务质量或者变现能力的技术——而这并非YannLeCun所愿与所长。

始终保留着纽约大学教职的YannLeCun,在2018年1月宣布辞去了FAIR负责人的职务,转向幕后担任首席科学家。而这也被外界解读为一个信号:似乎和吴恩达、李飞飞一样,顶级科学家真的不那么容易在大企业高管的位置上长治久安。

而在产业的探索之外,YannLeCun的另一个人设,堪称AI圈里的鲁迅——路见不平一声twitter,该骂你时候绝不休息。

不少人感觉YannLeCun有点过于“好作惊人语”,但其实要看到更大的背景在于,今天围绕着深度学习到底是什么,未来会怎么发展,以及AI有没有用等一系列问题,滋生出了无尽的争议。

而作为AI行内最大的明星之一,YannLeCun似乎也在某种程度上有义务出来正本清源。

让咱们回顾一下让YannLeCun启动开怼模式的三件事:

1、对著名的人形机器人,全球首位“机器公民“索菲亚。YannLeCun怒斥其为“彻头彻尾的骗局”“完全是胡说八道”。在YannLeCun看来,所谓索菲亚不过是一具放录音的模型而已,对它的“物体崇拜”会让人们觉得AI就是在变戏法。真正的AI想要达到婴儿甚至动物的智商,还要走很远的路。

2、硅谷钢铁侠马斯克,近两年的爱好是到处说AI就要毁灭人类了。YannLeCun认为这种说法非常不负责任。在他看来,马斯克就是跟一些乐观派的科学家聊天,又回家看了一些想象成分居多的书,然后就产生了《终结者》马上要实现的想法。加上众所周知马斯克总想拯救人类,最后导致了我们听到的那些声音。而在YannLeCun看来,科学家是知道那种强AI不太可能在几年内实现的,马斯克的言论是在散布恐慌。

3、去年,一位计算机视觉专家FilipPiekniewski连续发表了《深度学习已死》之类的“雄文”,高唱深度学习泡沫要破。YannLeCun则马上开启了回怼模式,直言作者“非常无知”,指出这位作者首先没有看到学术和产业界的现实,其次用一些无关的证据强行证明AI“寒冬来了”的结论。比如作者提到AI药丸,一大证据是AI科学家发twitter少了——气的YannLeCun赶紧发了一堆twitter。

总结一下,会发现YannLeCun开怼的主要是三种声音:假AI、AI威胁论,AI寒冬论。

其实环顾左右,这三种论调是不是也飘散于我们身边呢?

YoshuaBengio:

保卫象牙塔,镇守加拿大

说了最高调的,再说说最低调的YoshuaBengio。

之所以说他低调,是因为YoshuaBengio可说是三巨头中最不愿意探索产业世界的一位。他在必然出现的重金诱惑面前,也没有加入那几家我们耳熟能详的科技巨头,而是选择继续留在蒙特利尔大学的象牙塔里,享受着加拿大的好山好水。

然而随着自己发明的深度学习越来越火,YoshuaBengio发现事情并不简单。科技巨头和投资人开始疯狂向学校抢人。深度学习方向的博士变成了炙手可热的香饽饽,直到YoshuaBengio发现,他还没毕业的博士都已经被饥渴的科技公司瓜分干净。这位科学家决心要保卫象牙塔的纯净。

他的办法是,自己开一家公司……

咳咳,事实上,YoshuaBengio是在几位合伙人的劝说下,决定共同建立一个新型的产学一体化机构。我们知道AI界有著名的OpenAI,专注无不商业目标的开源项目,让科学家能在企业完成自己的梦想。

而YoshuaBengio与合伙人联合创立的ElementAI,则反其道而行之。它致力于让AI科学家们可以直接参与商业项目,获取相关回报,但同时能够保留教职——比如每周只用抽出几个小时来来ElementAI干活,大家一起做做项目赚赚外快就行了。

这种有点像AI科学家在线兼职的模式,可以有效解决一个问题:创业企业和传统企业,根本无力与科技巨头争抢AI人才,但他们却实打实地需要AI人才来帮忙。这样一种模式可谓两全其美。

很快,ElementAI就获得了微软的投资,现在在深入各行业定制AI解决方案之外,也开始与大公司的联合科研,以及对优质AI项目进行投资和技术帮助。而对于客户来说,YoshuaBengio本人就是商业合作上的金字招牌。

YoshuaBengio的另一个工作重心,是学校里的蒙特利尔学习算法研究所(MILA)。MILA和ElementAI一学一产,构成了蒙特利尔AI产业的双核驱动。今天,加拿大AI的快速发展,以及蒙特利尔被称为AI时代的硅谷,都与YoshuaBengio的工作紧密相关。

嗯,至少目前来看,这位象牙塔守护者,加拿大AI之星,还是比较好地完成了任务。

YoshuaBengio还有一项比较出名的行动,是在AI社会责任与公益领域广泛担当呼吁者。比如他带头反对谷歌的军方项目,呼吁终止AI武器化。并且积极推动关注AI中的歧视与不公平问题。

假如给YoshuaBengio近年来的工作打上三个标签,那就是:学术的,公益的,加拿大的……

GeoffreyHinton:怀疑者,依旧怀疑

与两位50多岁的学生相比,已经72岁的老师Hinton,似乎应该闲下来,享受“AI教父“的尊名,指导指导学生,筹划一下传记。

然而事实并非如此,GeoffreyHinton今天依旧在保持高强度的工作。被腰间盘疾病困扰的他,甚至必须要站着完成所有研究。与两位学生和大部分功成名就的同行相比,Hinton更像是工作在AI一线的那一个。

简单来说,那个又倔又横的小伙子,如今变成了个又倔又横的老头。

曾经在一次采访中,GeoffreyHinton被问到为什么能在几十年的不被重视中坚持下来,他的回答非常酷也非常Hinton。他说:

“他们都错了。”

直到今天,Hinton还是认为有可能所有人都错了,包括他自己。

1986年,Hinton发表了《Learningrepresentationsbyback-propagationerrors》,这是Hinton一生的代表作之一,标志着反向传播算法被引进深度学习,今天来看有着跨时代的意义。

然而Hinton在近两年却频频表示,反向传播有可能存在这巨大的缺陷。他不但自己尝试了多种方式突破它,还将大量相关研究综合起来,写论文对比如何摆脱反向传播的窠臼——直到现在,他还没有超越自己,但并不代表以后不能。

GeoffreyHinton是一个彻头彻尾的怀疑者,这点并没有因为他变成“泰斗”而改变。

在产业世界,Hinton的主要工作在谷歌大脑。近两年,TensorFlow的简化升级,谷歌大脑的AI能力拓展,背后都有Hinton与团队的身影。

而作为“教父”一样的存在,Hinton更被人关注的是在AI学术领域不断提出的颠覆性观点。恰好这又是一个乐于颠覆自己和其他人工作的人。

2017年年底,Hinton发表了名为胶囊网络CapsuleNetworks的方案,被广泛认为将改写深度学习的发展轨迹。

胶囊网络所针对的,是卷积神经网络的操作模式。传统的深度学习算法中,每一层神经网络必须做同样的卷积运算。而胶囊网络则认为,不同的神经元可以携带不同属性,这就像人脑中的不同区域负责不同的工作。

这种将深度学习进行稀疏激活的颠覆式方案,目前已经被证明可以在图像识别领域达成创新。不少人相信,胶囊网络未来会成为AI可解释、AI被赋予常识的关键技术。

近几年,Hinton带来的另一个颠覆,是在暗知识提取darkknowledgeextraction领域不间断的工作。一般来说,深度学习获取抽象特征,是建立在庞大的数据运算基础上的。而这会导致AI必须消耗大量的数据和算力来反复完成训练。而暗知识提取,或者叫知识蒸馏,则致力于让智能体之间可以提取隐藏的知识,把一部分知识留存到子深度学习系统,最终达成智能体摆脱庞大的算力与数据渴求,触及相对先天的“智能”。

可以看到,Hinton在今天依旧那么硬核。很多在AI世界看似常识的东西,AI之父却压根不相信它,并且在反复挑战。

AI走到头了吗?深度学习是最终解法吗?这老头一辈子从来没相信过大多数人的判断。

三巨头的今天:深度学习,从1到很多

假如说,三巨头高举火把,四下无人的那些年,是深度学习从0到1的时代。

那么今天全世界的深度学习热,毫无疑问标志着深度学习开始从1到N。然而从三巨头今天的工作来看,它也仅仅才到1而已。

不知道大家注意到没有,三巨头今天主要关注的方向,恰恰对应着以深度学习为代表的这一次AI复兴,所携带的先天不足,以及后天激发的问题。把三巨头的工作强行合并,可以看到这样几个方向:

1、AI到底是空谈还是事实?解决这个问题,必须把深度学习扔到产业熔炉当中,在算力、数据和应用场景里,检验深度学习到底能干什么。而这也是大量AI科学家必须去企业的逻辑之一。

2、AI火了之后,各种乱七八糟的事情一定会出来飞舞,需要有人把火车拉回轨道。YannLeCun在社交媒体上四面开火就是因为这个。索菲亚的把戏、马斯克的AI威胁论,以及“AI寒冬又来了”,这几个说法今天在中国一定有大批拥护者。不难看出问题还是挺尖锐的。

3、AI的人才匹配与平衡问题。这轮AI复兴的一个特征,是高度的产学一体化,导致学术人才可以直接与应用打通。然而学术人才如何在产业诱惑面前保持学术追求,产业如何在巨头争抢下获得AI人才帮助,这个问题在中国同样存在。

4、深度学习是把双刃剑,军事化、歧视与不公、因素安全等问题随之产生。AI的社会责任,是一个刻不容缓的矛盾。

5、深度学习,不是终点。反向传播,多层神经网络等等技术模式构成了我们习以为常的那个“AI”。但是深度学习依旧有大量问题存在,比如黑箱性,迁移能力差,高消耗等等。我们是把今天的AI当成原教旨,还是继续挑战,寻找更上层的终点?这点Hinton这位“深度学习之父”真是带了个好头。

功绩当然伟大,问题还有一堆。今天,三巨头还在工作,他们在为他们的造物负责。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30129

    浏览量

    268410
  • Facebook
    +关注

    关注

    3

    文章

    1429

    浏览量

    54647
  • 深度学习
    +关注

    关注

    73

    文章

    5492

    浏览量

    120975

原文标题:昨日种种已得奖,那深度学习三巨头今天在忙什么?

文章出处:【微信号:AI_shequ,微信公众号:人工智能爱好者社区】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    GPU深度学习中的应用 GPUs图形设计中的作用

    随着人工智能技术的飞速发展,深度学习作为其核心部分,已经成为推动技术进步的重要力量。GPU(图形处理单元)深度学习中扮演着至关重要的角色,
    的头像 发表于 11-19 10:55 240次阅读

    NPU深度学习中的应用

    随着人工智能技术的飞速发展,深度学习作为其核心驱动力之一,已经众多领域展现出了巨大的潜力和价值。NPU(Neural Processing Unit,神经网络处理单元)是专门为深度
    的头像 发表于 11-14 15:17 292次阅读

    GPU深度学习应用案例

    GPU深度学习中的应用广泛且重要,以下是一些GPU深度学习应用案例: 一、图像识别 图像识别是深度
    的头像 发表于 10-27 11:13 327次阅读

    FPGA做深度学习能走多远?

    ,共同进步。 欢迎加入FPGA技术微信交流群14群! 交流问题(一) Q:FPGA做深度学习能走多远?现在用FPGA做深度学习加速成为一个热
    发表于 09-27 20:53

    深度学习算法嵌入式平台上的部署

    随着人工智能技术的飞速发展,深度学习算法各个领域的应用日益广泛。然而,将深度学习算法部署到资源受限的嵌入式平台上,仍然是一个具有挑战性的任
    的头像 发表于 07-15 10:03 1178次阅读

    深度学习中的时间序列分类方法

    的发展,基于深度学习的TSC方法逐渐展现出其强大的自动特征提取和分类能力。本文将从多个角度对深度学习时间序列分类中的应用进行综述,探讨常用
    的头像 发表于 07-09 15:54 706次阅读

    深度学习中的无监督学习方法综述

    深度学习作为机器学习领域的一个重要分支,近年来多个领域取得了显著的成果,特别是图像识别、语音识别、自然语言处理等领域。然而,
    的头像 发表于 07-09 10:50 511次阅读

    深度学习视觉检测中的应用

    能力,还使得机器能够模仿人类的某些智能行为,如识别文字、图像和声音等。深度学习的引入,极大地推动了人工智能技术的发展,特别是图像识别、自然语言处理、语音识别等领域取得了显著成果。
    的头像 发表于 07-08 10:27 619次阅读

    人工智能、机器学习深度学习是什么

    科技日新月异的今天,人工智能(Artificial Intelligence, AI)、机器学习(Machine Learning, ML)和深度学习(Deep Learning,
    的头像 发表于 07-03 18:22 1108次阅读

    深度学习与传统机器学习的对比

    人工智能的浪潮中,机器学习深度学习无疑是两大核心驱动力。它们各自以其独特的方式推动着技术的进步,为众多领域带来了革命性的变化。然而,尽管它们都属于机器
    的头像 发表于 07-01 11:40 1186次阅读

    深度解析深度学习下的语义SLAM

    随着深度学习技术的兴起,计算机视觉的许多传统领域都取得了突破性进展,例如目标的检测、识别和分类等领域。近年来,研究人员开始视觉SLAM算法中引入深度
    发表于 04-23 17:18 1238次阅读
    <b class='flag-5'>深度</b>解析<b class='flag-5'>深度</b><b class='flag-5'>学习</b>下的语义SLAM

    FPGA深度学习应用中或将取代GPU

    上涨,因为事实表明,它们的 GPU 训练和运行 深度学习模型 方面效果明显。实际上,英伟达也已经对自己的业务进行了转型,之前它是一家纯粹做 GPU 和游戏的公司,现在除了作为一家云
    发表于 03-21 15:19

    什么是深度学习?机器学习深度学习的主要差异

    2016年AlphaGo 击败韩国围棋冠军李世石,媒体报道中,曾多次提及“深度学习”这个概念。
    的头像 发表于 01-15 10:31 1021次阅读
    什么是<b class='flag-5'>深度</b><b class='flag-5'>学习</b>?机器<b class='flag-5'>学习</b>和<b class='flag-5'>深度</b><b class='flag-5'>学习</b>的主要差异

    GPU深度学习中的应用与优势

    人工智能的飞速发展,深度学习作为其重要分支,正在推动着诸多领域的创新。在这个过程中,GPU扮演着不可或缺的角色。就像超级英雄电影中的主角一样,GPU深度
    的头像 发表于 12-06 08:27 1208次阅读
    GPU<b class='flag-5'>在</b><b class='flag-5'>深度</b><b class='flag-5'>学习</b>中的应用与优势

    深度学习人工智能中的 8 种常见应用

    深度学习简介深度学习是人工智能(AI)的一个分支,它教神经网络学习和推理。近年来,它解决复杂问题并在各个领域提供尖端性能的能力引起了极大的兴
    的头像 发表于 12-01 08:27 3235次阅读
    <b class='flag-5'>深度</b><b class='flag-5'>学习</b><b class='flag-5'>在</b>人工智能中的 8 种常见应用