0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

深度学习:工程科学还是自然科学?

DPVg_AI_era 来源:lp 2019-03-05 08:48 次阅读

Facebook AI 研究总监 Yann LeCun 近日在普林斯顿高等研究所进行了一次演讲,题为《深度学习认识论》,重点讨论了深度学习思想的早期历史和动态,强调理论理解在深度学习研究中的重要意义。

更好的理论理解,将有助于深度学习研究的发展。

近日,Facebook AI 研究总监 Yann LeCun 在普林斯顿高等研究所进行了一次演讲,题为《深度学习认识论》(The Epistemology of Deep Learning),重点讨论了深度学习思想的早期历史和动态。

LeCun 认为,深度学习在一定程度上是一门 “工程科学”,我们通过理论洞见、直觉、灵感和经验探索来创造新的工件。但是理解深度学习在一定程度上是 “物理科学”,需要理解这个工件的一般属性。

科学和技术的历史有很多技术工件先于理论理解的例子:透镜的发明在光学理论之前,蒸汽机的发明在热力学之前,飞机在空气动力学之前,无线电通信再信息理论之前,可编程计算器在计算机科学之前。

LeCun 演讲的两个要点是:

(1) 经验主义是一种完全合适的研究方法,尽管它效率低下;

(2) 我们面临的挑战是为学习和智能开发一种理论,对应于蒸汽机的热力学理论。

有了理论基础,即使只是概念上的基础,也将大大加快该领域的研究进展,但必须认识到一般理论的实际影响有限。

深度学习:工程科学还是自然科学?

2017 年 Ali Rahimi 在 NIPS 的演讲中批判深度学习是 “炼金术”(Alchemy),引起机器学习界大讨论。当时反驳他的代表、深度学习领军人物 Yann LeCun 在自己的主页上回应 Ali,说自己完全不同意 Ali 的说法。

LeCun 表示,那次大争论很有意思,但他认为 Ali Rahami 混淆了两个概念,即 “炼金术” 和 “工程”。Ali 所指的 “炼金术” 实际上是工程学。

炼金术 & 工程

工程科学是关于发明新工件 (new artifacts) 的,你有很多方法可以用来发明新东西。比如望远镜、蒸汽机、电磁体、飞机、无线电等新发明,显然有方法被用来创造它们。这是一种创造性的活动,其方法如创造、直觉、探测、实验等等。如果我们对这些现象有一些理论上的理解,这些发明创造显然能够更加高效。

这与今天的神经科学也有相似之处。神经科学是关于发现、学习和解释现象的,其方法如在控制条件下的可复现实验、数学、统计学、系统性实验等,同样也由理论性、概念性和直觉理解所指导。

而理论往往是在发明之后构建起来的,比如:透镜的发明在光学理论之前,蒸汽机的发明在热力学之前,飞机在空气动力学之前,无线电通信再信息理论之前,可编程计算器在计算机科学之前。

如此,现代世界的种种神奇在人们完全理解它们之前就已经被发明出来了。这和我们告诉学生的故事有些不同,我们会告诉他们去做数学运算,要理解所有的理论,只有这样你才能利用那些理论去发明东西。但现实从来不是这样。

来自大脑的启发

上面这张 PPT 展示了深度学习的根源,即启发了深度学习的一些理论。

McCulloch & Pitts (1943) : 二元神经元网络可以做逻辑运算

Donald Hebt (1947) : Hebbian 发现突触可塑性的基本机制(赫布理论)

Norbert Wiener (1948) :控制论,最佳滤波器,反馈,自动生成,自动组织

Frank Rosenblatt (1957): 感知机

今天的 AI 大部分是监督学习

其运作方式是:向系统提供样本以训练机器,而非直接编程。

当输出错误时,则调整参数

这是模式识别的一个标准范式

从 1969 到 1985 年,是深度学习的第一个 “冬天”。当时提出的多层网络并不学习,原因包括使用了错误的 “神经元”,而二元神经元阻碍了人们往 gradient-based 的方法去想。

不过到 80 年代早期,出现了神经网络的第二次热潮。当时提出了 Hopfield nets、玻尔兹曼机。到 1985/86 年,反向传播 (Backprop) 出现了,深度学习迎来转机。

来自生物学的启发

深度学习为什么需要理论

理论是好东西,因为它使得实验有效。

理论允许我们修补、完善经验。一些理论甚至能让我们预测现象。

多层神经网络和深度学习

卷积网络启发自视觉皮层

卷积网络能够识别多个物体

其中,所有层都是卷积的,神经网络同时进行分割和识别。

80、90 年代时的神经网络硬件

深度学习的第二个冬天

1996~2006 年的 10 年间,是神经网络的第二个冬天。这期间,很少有团队能够训练大型神经网络。

原因有很多

硬件在浮点计算方面很慢

数据稀缺,数据成本昂贵,而神经网络是数据饥渴性的

交互式的软件工具必须从头开始构建

在互联网时代之前,开源并不常见

学习理论

理论可能会限制我们的创造性思维

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 计算机科学
    +关注

    关注

    1

    文章

    142

    浏览量

    11357
  • 机器学习
    +关注

    关注

    66

    文章

    8378

    浏览量

    132424
  • 深度学习
    +关注

    关注

    73

    文章

    5493

    浏览量

    120983

原文标题:深度学习是科学还是炼金术?LeCun 最新演讲(视频 + PPT)

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    普通物理实验

    1.物理实验课的地位物理学是研究物质运动一般规律及物质基本结构的科学,是自然科学的基础学科,是学习其它自然科学工程技术的基础。从本质上说物
    发表于 12-05 16:24

    2020年中国科技核心期刊目录自然科学

    2020年中国科技核心期刊目录自然科学卷, 2020年中国科技核心期刊目录  (自然科学卷) F034ACTA BIOCHIMICA ET BIOPHYSICA SINICA I059ACTA
    发表于 07-16 07:46

    MIT Technology Review 2020年“十大突破性技术”解读 【中国科学基金】2020年第3期发布 精选资料分享

    来源:国家自然科学基金委员会MIT Technology Review2020年“十大突破性技术”解读[编者按] 2020年2月26日,MIT Technology Review一年...
    发表于 07-26 08:09

    自然科学学科发展战略调研报告-电工科学

    自然科学学科发展战略调研报告-电工科学对电工学科按当前发展状况形成的五个前沿分学科的内容、含义、作用、发展水平与动向等进行了分析并提出了建议。这套调研报告是国
    发表于 09-22 08:12 36次下载
    <b class='flag-5'>自然科学</b>学科发展战略调研报告-电工<b class='flag-5'>科学</b>

    自然科学老师如何利用AR让学生快速学习课程

    今年9月份我开始在自然科学课程中使用AR增强现实技术。解剖学可生理学课程上,学生们可以看到3D的虚拟仿真人体骨骼,不用再离开教室跑到人体骨骼室,也不用拿一个真正的人体骨骼模型了,非常方便。
    发表于 12-07 19:14 1477次阅读

    怎样成为一名合格的电子工程

    一个工程师应该在工程和生活中培养自己思维的习惯、深度和广度,以及思维方式和思维素材的选取。要成为一个合格工程师确实有很多品质是先天的,学校的教育及专业素养的养成是构成一个合格
    的头像 发表于 04-12 16:30 4795次阅读

    液态全柔性智能机器人成功研发 具有重要的科学价值和应用市场

    近日,据媒体报道;天津大学精仪学院黄显教授团队成功研发出液态全柔性智能机器人,有望成为柔性电子产业和植入医疗器械的革命性突破。相关研究成果近期发表于国际工程自然科学领域权威期刊《尖端科学》,并得到国家
    发表于 11-13 08:39 771次阅读

    这15个集成电路相关项目获自然科学基金支持

    15 个集成电路相关项目获得上海市 2020 年度科技创新行动计划自然科学基金支持 近日,上海市科委发布了《关于上海市 2020 年度科技创新行动计划自然科学基金领域项目立项的通知(沪科〔2020
    的头像 发表于 10-29 09:44 2541次阅读

    思必驰钱彦旻团队获得吴文俊人工智能自然科学奖一等奖

    12月10日,中国人工智能学会正式公布2020年度第十届吴文俊人工智能科学技术奖获奖名单。在人工智能自然科学奖的5个一等奖中,唯一的语音相关奖项花落上海交通大学。 获得该奖项的成果名为“鲁棒语音
    的头像 发表于 01-18 11:11 7147次阅读

    《北京大学学报(自然科学版)》—基于句式元学习的Twitter分类

    基于句式元学习的Twitter分类 人工智能技术与咨询  本文来自《北京大学学报(自然科学版)》,作者闫雷鸣等 摘要 针对多类别的社交媒体短文本分类准确率较低问题, 提出一种学习多种句式的元
    发表于 11-29 15:35 505次阅读
    《北京大学学报(<b class='flag-5'>自然科学</b>版)》—基于句式元<b class='flag-5'>学习</b>的Twitter分类

    AI for Science:利用数据和算法发现自然科学的新规律

    AI for Science是指利用人工智能技术来辅助科学研究,发现自然科学的新规律,解决复杂的科学问题。AI for Science已经在物理、化学、生物、医学等领域取得了一些令人瞩目的成果
    的头像 发表于 08-01 11:40 1866次阅读

    智芯公司下属单位成功获批2023年度北京市自然科学基金-昌平创新联合基金项目10项

    12月8日,智芯公司下属单位联合各知名高校、科研院所申报的2023年度北京市自然科学基金-昌平创新联合基金资助项目10项成功获批,主要涵盖集成电路设计、通信技术、电网安全等研究方向。 近期,智芯公司
    的头像 发表于 12-11 10:00 1037次阅读

    重磅!深开鸿成功中标国家自然科学基金重点项目

    近期,深开鸿成功中标国家自然科学基金重点项目,携手北京大学、北京航空航天大学共同展开对开源软件可信安全的研究,2023年该项目申请通过率仅16%,这意味着深开鸿在开源软件安全领域的研究取得了重大突破
    的头像 发表于 01-31 14:46 1156次阅读
    重磅!深开鸿成功中标国家<b class='flag-5'>自然科学</b>基金重点项目

    中国传感器专家当选欧洲自然科学院院士!他推动了国产传感器发展!(深度观察)

    近日(3月12日),欧洲自然科学院正式公布新增院士名单,九三中央科技委副主任、中国传感器与物联网产业联盟常务副理事长、北京理工大学前沿技术研究院首席专家、武汉大学及北京邮电等大学兼职教授 郭源生增选
    的头像 发表于 03-21 17:31 576次阅读
    中国传感器专家当选欧洲<b class='flag-5'>自然科学</b>院院士!他推动了国产传感器发展!(<b class='flag-5'>深度</b>观察)

    2023年度国家自然科学奖 | 热烈祝贺晟鹏创始人成会明院士

    2023年度国家自然科学奖二等奖。国家科学技术奖是我国最高科学技术荣誉,具有广泛的影响力和威望,代表国内最高科研水平。2023年度国家自然科学奖二等奖新型二维材料
    的头像 发表于 06-30 08:10 653次阅读
    2023年度国家<b class='flag-5'>自然科学</b>奖 | 热烈祝贺晟鹏创始人成会明院士