0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Yoshua Bengio:如何缔造出世界上最好的人工智能实验室之一的呢?

zhKF_jqr_AI 来源:未知 作者:李倩 2018-08-15 08:47 次阅读

编者按:CIFAR是加拿大政府牵头投资的一个先进科学项目研究所,多年来,它致力于为各行各业的佼佼者提供研究资金支持,其中包括机器学习领域的两位先驱:Hinton和Bengio。近日,CIFAR官网刊登了一篇对Yoshua Bengio的专访,在文章中,Bengio不仅讲述了研究实验室从无到有的建设过程,也展示了自己青年时期的彷徨和梦想。

Yoshua Bengio,听到这个名字,相信不少人心中会升起一股钦佩。Hinton、Bengio、LeCun,曾经的加拿大学术界“三剑客”,也是公认的北美地区深度学习“三巨头”。如今他们一个去了Google,一个去了Facebook,连曾经梦想着为工业界输送生力军的Bengio,最后还是走出了大学的三层教学楼,接过微软递来的“橄榄枝”。

但总的来说,Bengio是三人中最看重学术纯粹性的。虽然在微软担任顾问,他现在还是CIFAR机器与大脑学习项目的联合主任,是加拿大计算机科学与运筹学系的全职教授,也是蒙特利尔大学统计学习算法研究主席。

在天下熙熙皆为利来的当前,保持这样一颗教学的初心是不易的。那么,在蒙特利尔大学原本“贫瘠”的土壤中,他是如何缔造出世界上最好的人工智能实验室之一的呢?

唯一的学者

1993年,Yoshua Bengio入职蒙特利尔大学担任教员。在当时,这个法国小伙是学校里唯一一个做机器学习和神经网络的人,所以他对前来询问的学生来者不拒。很快,这份热情就把他压得不堪重负,有了前车之鉴,慢慢的,Bengio逐渐适应了有选择性地答疑。

为了支撑研究进展,除了向学校申请研究资金,Bengio还积极利用校外的社交网络,联系上了在宗师级大牛Michael I.Jordan门下读博士后时有过合作的对象。在这些为数不多的学者中,多伦多大学的Geoffrey Hinton成了他日后的挚友。

时至今日,我们已无法想象独自奋斗的Bengio是怎样一副处境,但在这种情况下,自己拓展,甚至构建“学术圈”似乎是摆脱困境的最好方法。而他是幸运的,蒙特利尔大学在他身上看到了潜力,并迅速给了他教学赞助。

Yoshua Bengio

但缺乏经验的他还是低估了努力奋斗带来的后果。

在学校教学的前7年,Bengio只有两门课,所以有余力去完善自己的人脉网络,花更多时间去做研究。但当第二个孩子出生时,他已经入选加拿大首席研究员计划,教学任务也从两门课也变成了三门课,再加上筹建实验室,他第一次对家庭感到愧疚,也对教师这份工作感到不知所措。

回想起来,我完全可以创造更好的平衡。

我应该向一些年长的教授请教,无论他们和我是不是一个领域的人。如果我不那么内向,我也许能得到更多经验,但当时的我并没有意识到这一点。无论你是哪个部门的人,新教师就应该主动伸出手去建立联系,老教师们通常都很乐意帮忙,只是他们不会主动。

我必须成为专家

虽然没能协调好工作和家庭的关系,但Bengio还是从校外同行身上获得了不少启示。在第一个十年里,他和异地的Hinton进行了大量互动,而正是这些讨论,让他把扰动的心平静下来,专注于自己的研究。

Bengio从Hinton身上学到的经验是不要把自己的努力分散到不同地方。作为一名科研人员,他不应该为了当天的想法忘记自己的长期目标,无论这个想法的背后是否包含金钱、地位诱惑。同时,他每天至少应该为长期目标预留一部分时间,因为这个目标才是事业成功的决定性因素。

想法越多,就越容易陷入困境,也越容易错过重要的东西。

Geoffrey Hinton

在之后的十几年中,机器学习逐渐成了一个“吸金”又“吸睛”的领域,但这个理念一直支撑着Bengio保持“中立”。他认为,每个人都必须找到属于自己的路,如果你的目标是精通某一领域并取得突破,你就必须成为一名专家。因此,如果你是一名年轻的教员,你就应该瞅准一个方向,让自己成为这个领域最强大的人。

这样的观点并不是“站着说话不腰疼”。事实上,早在90年代,神经网络和机器学习就已经引起了工业界的兴趣。当时加拿大政府为了鼓励合作,向研究人员提供了数目可观的科研赞助资金。面对机遇,Bengio自然也无法免俗,当时他找了一些和自己研究契合领域的项目,收了不少赠款。

但这段经历显然给他留下了不良印象。当他向加拿大自然科学和工程研究委员会(NSERC)等组织提出建议时,他发现这些“金主”完全不关心研究人员的想法和意愿,他们只期待几年后的成果报告。

而这还不是更严重的。在学界,科研人员通常没法预测什么是热门课题,自己以后会遇到什么难题。但当你和公司签订协议后,你就可能会丧失研究的纯粹性,转而去迎合公司管理层的喜好。以NSERC的项目为例,Bengio就被要求去做最“先进”的研究,然后不停发表引人注目的研究论文。

对青年研究者来说,这绝对是科研道路上的甜蜜陷阱。

“以人为本”的实验室

凑足经费后,蒙特利尔的人工智能实验室开始步入正轨。早期,由于种种原因,Bengio其实还没有攒够培养博士后的钱,实验室运营捉襟见肘。为了解决这个问题,他尽量招收底子比较扎实的学员,尽快成立了一支强大队伍。至于实验室的管理,他大胆信任学生的自然领导能力,招收实习的博士生、研究生甚至本科生来进行尝试。

我们不应该低估年轻人在管理上的能力,他们可能比年长的人更优秀。

如今,虽然有不少大学都在抱怨科技公司抢走了学校的人才资源,但Bengio并没有为此担心。

相反地,他面对招生一直抱着一种“赌博”的心态。比起计算机科学和机器学习专业的优秀学生,Bengio更喜欢有深厚数学、物理学背景,且对机器学习有极大兴趣的博士。他认为这些人虽然目前进不了Google Brain这样的优质机构,但凭借知识功底,他们可以在短短两三年内就掌握深度学习技术,也能证明自己在这一领域的能力。这是个双赢的结局。

至于这些博士肯不肯来,这完全出于个人选择。如果愿意加入实验室,他们能参与研究,发表论文,大大提高自己对工业界的价值。这也意味着更多的公司选择、更高的职位和更多薪水。当然,有些人也不需要读个博士后来证明自己,他们可以直接入职工作。

另外,对于某些人来说,钱并不是他们的唯一追求。成为博士后带给他们的好处就是了解学术圈的运作方式,参与管理和做一些自己真正喜欢的研究。

机器学习“宗谱”

作为学校的“大老板”,Bengio的实验室已经经历了从最初的3人到现在几十人的蜕变。但这不是一朝一夕就能实现的,他必须学会如何管理更多的人、建立基础设施和管理资金,而这是一个循序渐进的过程。

现如今,许多大型实验室都普遍存在一个问题,就是随着人数增多,实验室发表的论文虽然多了,但教授花在学生身上的时间却少了,那么教授对学生又有什么意义呢?对此,Bengio的做法是把学生从家里拽出来,让他们始终和同学、其他教师互相协作。这样,虽然他们丧失了和教授的一对一关系,但这些人能围绕多个教授形成复杂网络,学到的东西更多。

而这种做法的一个前提就是让学生们亲自到实验室学习,让他们做到物理层面上的靠近。打通他们和陌生教授之间的交流障碍,不断扩大学习小组。

其他事项

既然是跟随导师做研究,研究经费是很多人关注的内容。众多周知,相比美国,加拿大博士的待遇会逊色不少,但这种差距似乎并没有阻止一批批学生投奔Yoshua Bengio的步伐。

在Bengio的实验室里,他采取的方法是把所有资金纳入总的资金池,当学生有科研经费需要时,任何人都会获得资助。换句话说,这其实是让学生放下资金压力,优先把精力投入到合作和研究中,而不是把经费额度作为标尺,衡量自己的科研目标。

当然,这中间必然有一个申请的过程,而资源也一定会向资深教授倾斜,降低他们获得资金的门槛。Bengio认为,如果科研人员不觉得自己受到金钱限制,那么他们一定是抱着快乐和探索的心在研究。

看到这里,也许有读者对跟随Bengio学习已经有所期望。事实上,自从深度学习热度被炒起来后,寻找优质生源对Bengio来说已经成了挑战,因为去年光是申请简历,他就收到了700多份;而今年,这个数字估计会超1000。在这种情况下,他无法做到亲自回复每封电子邮件,学生也没法体现自己的优势。

而Bengio本人也透露了录取率较高的几个途径,一是上他的课,给他留下深刻影响;二是去他的实验室当实习生,毕竟博士学习需要5年,合不合的来,这是件需要实践检验的事情。至于不在加拿大的同学,大家也不必气馁,你们要做的是让自己在顶会中崭露头角,并主动和Bengio本人建立联系。

作为学术派的代表,Bengio多少也会参与一些企业项目。对于这一点,他本人也积累了一些心得:有时候,你的期望与企业的期望合不合拍,这可能是合作了几年后才会知道的东西。但作为研究学者,你要做出一些事先声明,比如学者不是生产产品,也不是在给工业界提供廉价劳动力,他们的价值在于提出改变业务的惊人想法,因此雇佣人才本质上是一种变相投资。

有了这些想法,企业还要组织内部人员进行实现,否则合作很可能就失败了。AI技术很诱人,但企业也必须为此付出相当的代价。

总之,无论是经营实验室,还是治学研究,你都必须保持自信,保持自我独立思考的能力。如果感到困惑,就放下所有事,放下编程,有一些答案总是存在于我们大脑的深处,用一周时间思考让你烦恼的重大问题,有时也很有效果。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4774

    浏览量

    100891
  • 人工智能
    +关注

    关注

    1792

    文章

    47422

    浏览量

    238943
  • 机器学习
    +关注

    关注

    66

    文章

    8425

    浏览量

    132769

原文标题:Yoshua Bengio:在蒙特利尔,我如何让机器学习“平地起高楼”

文章出处:【微信号:jqr_AI,微信公众号:论智】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    内部创新驱动:SNP启动AI人工智能和云创新实验室

    SNP是SAP系统中数字化转型、自动化数据迁移和数据管理软件的知名提供商,该公司推出了一个人工智能和云创新实验室。未来,来自不同学科和SNP地点的专家,如新泽西州、布宜诺斯艾利斯和海德堡,以及子公司
    的头像 发表于 11-18 09:15 166次阅读

    AMD收购私人人工智能实验室Silo AI

    在科技界的又场重大并购浪潮中,AMD,这家全球领先的半导体巨头,宣布了项震撼业界的交易——正式与欧洲最大的私人人工智能实验室“Silo AI”达成最终收购协议,交易总额高达6.65
    的头像 发表于 07-12 16:24 474次阅读

    Google开发专为视频生成配乐的人工智能技术

    近日,科技巨头Google旗下的人工智能研究实验室DeepMind宣布了项引人注目的技术突破——V2A技术(Video to Audio),这是项专为视频生成配乐
    的头像 发表于 06-20 11:03 517次阅读

    恩智浦首个云实验室正式上线运营

    恩智浦半导体近日宣布,其首个全线上实验室——人工智能创新实践平台云实验室已正式上线。这创新举措旨在为全球用户提供前所未有的便捷体验。
    的头像 发表于 05-06 11:03 616次阅读

    苹果在瑞士苏黎世设立研究实验室,专注于人工智能模型与产品开发

    据悉,该实验室的员工正积极参与苹果研究类似于 OpenAI 的聊天机器人 ChatGPT 以及其他基于大型语言模型(LLM)的产品的底层技术。研究方向主要集中在设计更为先进的人工智能模型,能够结合文字和视觉输入生成回复。
    的头像 发表于 04-30 17:03 1147次阅读

    恩智浦首个云实验室正式上线运营

    中国苏州——202 4 年 4 月 23 日—— 恩智浦半导体(NXP Semiconductors N.V.,纳斯达克代码:NXPI)今日宣布其首个全线上实验室——人工智能创新实践平台 云实验室
    的头像 发表于 04-24 11:36 934次阅读
    恩智浦首个云<b class='flag-5'>实验室</b>正式上线运营

    AI+教育 深圳市中小学联合实验室正式启用

    4月18日,深圳市中小学人工智能联合实验室在深圳高级中学(集团)南校区启用。 去年,深圳市教育局发布推进中小学人工智能教育工作方案,提出要建成具有深圳特色的人工智能教育课程体系,构建社
    发表于 04-22 10:07 246次阅读
    AI+教育 深圳市中小学联合<b class='flag-5'>实验室</b>正式启用

    云天励飞捐建深圳市中小学人工智能联合实验室正式启用

    4月18日,深圳市中小学人工智能联合实验室在深圳高级中学(集团)南校区启用。
    的头像 发表于 04-20 11:26 767次阅读

    上海人工智能实验室发布自动驾驶视频生成模型GenAD

    上海人工智能实验室近日取得重大技术突破,联合香港科技大学、德国图宾根大学及香港大学共同研发并发布了大规模自动驾驶视频生成模型——GenAD。这创新模型通过精准预测和模拟真实世界场景,
    的头像 发表于 03-26 10:40 531次阅读

    百川智能与北京大学将共建通用人工智能联合实验室

    近日,百川智能与北京大学携手合作,共同签署了“北大——百川通用人工智能联合实验室”的共建协议,标志着双方在人工智能领域迈出了坚实的合作步伐。
    的头像 发表于 03-21 11:45 920次阅读

    Cognizant成立高级人工智能实验室

    近日,全球领先的IT解决方案提供商Cognizant宣布在旧金山成立高级人工智能(AI)实验室。该实验室的成立标志着Cognizant在人工智能领域的进
    的头像 发表于 03-11 10:36 626次阅读

    嵌入式人工智能的就业方向有哪些?

    于工业、农业、医疗、城市建设、金融、航天军工等多个领域。在新时代发展背景下,嵌入式人工智能已是大势所趋,成为当前最热门的AI商业化途径之一
    发表于 02-26 10:17

    上海AI实验室发布新代书生·视觉大模型

    近日,上海人工智能实验室(上海AI实验室)联手多所知名高校及科技公司共同研发出新代书生·视觉大模型(InternVL)。
    的头像 发表于 02-04 11:25 1134次阅读

    大众汽车成立人工智能实验室

    德国汽车制造商大众汽车公司近日宣布,已成立自己的人工智能实验室。这重要举措凸显了汽车行业在前沿技术应用方面日益增长的雄心。
    的头像 发表于 02-03 16:44 1000次阅读

    大众汽车自建人工智能实验室

    德国大众汽车集团(Volkswagen Group)近日宣布,已成立自己的人工智能实验室,旨在成为“全球联网的中心和孵化器”。该实验室的主要任务并非直接应用于量产汽车,而是致力于在全球范围内寻找与
    的头像 发表于 02-02 10:12 688次阅读