深度学习依然不够透明 - 关于深度学习现状的不乐观分析

五，深度学习依然不够透明

关于深度学习的「黑箱」神经网络问题，在过去几年来一直是被广泛关注和讨论的焦点。而在今天，深度学习系统动辄拥有数以百万甚至十亿计的参数，开发人员难以用可解释的方式 （「last_character_typed」） 对一个复杂的神经网络进行标注 （e.g.， the activity value of the ith node in layer j in network module k）。尽管通过可视化工具，我们可以看到复杂网络中的个体节点所产生的贡献，但更多时候研究者会发现，神经网络依然是一个黑匣子一般的谜。

这对于我们会产生什么样的影响犹未可知，如果系统的鲁棒性足够、自适应性也做得够好，那么可解释与否并不成为问题。但如果它需要被用在一些更大的系统上，那么它所具备的可调试性就变得尤为重要。

深度学习的透明性问题尚未被解决，而对于以金融或是医学诊断为代表的应用领域，它将是一个绕不过的坑，毕竟，人们需要向机器的决策要一个可解释的答案。就像 Catherine O』Neill （2016） 所指出的那样，深度学习的不透明性将引致偏见的系列问题。

六，深度学习远未与先验知识紧密结合

深度学习的一个重要方向在于解释学，即将它与其它的知识区隔开来。典型的深度学习方式往往是寻找一个数据集，通过调参等各种方式，学习输入输出的关联，并掌握解决问题的方法。有少数研究会刻意地弱化先验知识，比如以 LeCun 为代表的神经网络连接约束等研究。

而以 Lerer et al 的研究为例，团队尝试让系统学习物体从高塔上掉落的物理特性，在这个研究中，除了卷积隐含内容外，团队没有加入物理学的先验知识。我即将发表的论文中也提及了这一点，即深度学习研究者看起来对先验知识偏见不小，即便这些知识都是众所周知的。

此外，将先验知识整合到深度学习系统中也并非易事。主要原因在于，知识表征主要描述不是抽象的量化特征，而是特征间的关系；机器学习过于强调系统的独立性，而把通用性知识排除在外。以 Kaggle 机器学习竞赛平台为例，所给的数据集、所提出的问题，都是给定的，尽管在比赛的范式驱动下，研究者已经有了长足的进步，但与真实世界亟待解决的问题还有着很大差距。

生活并非一场 Kaggle 竞赛。真实世界的数据并不会洗干净打包好等着你，而问题也比竞赛所遇到的要复杂得多。在以语音识别为代表的，有大量标记的问题上，深度学习可能表现不俗。但如果是开放性的问题呢？几乎没有人知道要怎么办。被绳子卡住链条的自行车怎么修？我要主修数学还是神经科学？没有数据集可以告诉我如何解决。

与分类离得越远的问题、与常识靠得越近的问题，越难被机器学习所解决。而目前据我所知，也没有人尝试过解决这样的问题。

七，深度学习无法区分因果性与相关性

如果因果性与相关性确实不同，那么两者的区分会是深度学习的一个严峻问题。简单地说，深度学习习得的是输入与输出特征间的复杂关系，而非因果性的表征。深度学习系统可以把人类当作整体，并学习到身高与词汇量（height and vocabulary）的相关性，但并不能了解到长大与发展间（growth and development）的关系。也就是说，孩子随着长大会学到更多单词，但不代表学习更多单词会让孩子长大。因果关系对于 AI 而言是一个核心问题，但可能因为深度学习的目标并非解决这些问题，因此深度学习领域很少涉足这一研究。

八，深度学习对环境的稳定性提出要求，这可能会存在问题

深度学习目前在高度稳定的环境中工作得最好，比如围棋，因为它的规则不变，而一旦遇到政治和经济问题（这些问题会不断变化），效果则不尽人意。

在一定程度上来说，深度学习可以应用到诸如股票预测等任务上，但是有很大的可能最终会得到类似 Google Flu Trends 的结果，虽然一开始的疫情预测表现良好，但却没能提前预知 2013 年的流感高发季。

九，深度学习目前得出来的结果只是近似值，不能彻底相信

从前面提出的问题中可以看到，深度学习系统在某些给定领域的大部分情况下工作得很好，却很容易被愚弄。

越来越多的论文表明深度学习容易受到攻击，比如上面提到的 Robin Jia 和 Percy Liang 在语言方面的研究，以及计算机视觉领域的大规模的案例——将黄黑相间的条纹误以为校车，将带有贴纸的停车标志误以为装满食品的冰箱。最近还有一些现实世界中的例子，比如被轻微涂损过的停车标志被深度学习系统误认为是限速标志，3d 打印的乌龟被误认为是步枪。近期，还有新闻报道了英国警局系统不能正确区分裸体和沙丘。

深度学习系统易受欺骗（spoofability）的特性可能是由 Szegedy 等在 2013 年的一篇论文中首次被提出的，四年过去了，经过了如此多的研究，研究人员还是没能找到什么鲁棒性的解决方法。

十，深度学习发展到现在还是很难工程化

从上面提到的所有问题中得出的另一个事实是，用深度学习来做鲁棒性工程很难。谷歌团队发表的论文 Machine Learning： The High-Interest Credit Card of Technical Debt 中，他们的标题将机器学习形容为「技术债务里高利息的信用卡」，这表明，系统在给定了限制的环境下会工作， 但是很难保证在添加了新的数据，并且这些数据与之前的训练数据存在差异的情况下能工作。在 ICML 2015 上，Leon Bottou 将机器学习与飞机引擎的发展作了对比，他表示，飞机的设计依赖于构建复杂的系统，这可以保障可靠的性能，但机器学习系统的缺乏类似的保障。

正如谷歌的 Peter Norvig 在 2016 年所指出的那样，机器学习与传统项目相比，还缺乏增量性（incrementality）、透明性（transparency）和可调试性（debuggability），想要实现机器学习的鲁棒性，这是一项挑战。Henderson 和他的同事最近也提出了这一观点，他们专注于深度强化学习，指出了这一领域在鲁棒性和可复制性方面存在的一些严重问题。

尽管我们在开发机器学习系统的过程中已经取得了一些进步，但还有很长的路要走。

小结：诚然，深度学习在计算机视觉、强化学习、NLP 等领域都优异地解决了不少疑难问题，但我们在对深度学习抱有热情的同时也应当看到，深度学习并不能解决所有的问题，它高超的提取特征和非线性抽象的能力也远不足以构成通用人工智能的基础架构。小编认为，深度学习的研究当然要持续，它的火热也为整个机器学习、人工智能界带来了大量关注和人才；但言必深度学习也并不是一个良好的发展状况，我们更希望各种技术和认识方法可以齐头并进，合力构建出人类理想中的「人工智能」。