新兴领域深度学习引发的一些冲突

　　我感到非常困惑，我几乎每天都在改变自己的观点，我似乎对这个难题无法形成一种坚实固定的看法。我不是在讨论目前的世界局势，或现任美国总统，我是在讨论对人类而言更加重要的一件事。更具体地来说，我在讨论的是研究人员与工程师们的存在和工作，我说的是深度学习。
　　你也许会认为我的声明有些夸张，但深度学习的出现确实引出了我们必须解决的几个关键问题。在本文中，我希望揭露这一新兴领域引发的冲突，这与图像处理领域的研究者们有关。
　　首先让我们简要回顾一下深度学习和神经网络的概念。神经网络已经存在了数十年，它提出了一种通用的学习机制，原则上可用于处理任何可学习的数据集。在其前馈架构中，感知层（也就是神经元）首先对输入内容进行加权平均，随后进行非线性处理，如感知器（sigmoid）或 rectified-linear 曲线。人们可以训练这种简单的系统通过多种监督回归和分类方法从给定数据中获得需要的输出。
　　这看起来很棒，但不幸的是这个概念在 20 世纪 80 代 90 年代并没有流行起来——在那时神经网络无法给出足够具有竞争力的表现。此外，由于有着坚实理论基础以及凸优化方式的支持向量机的出现，神经网络看起来完全没有翻身机会了。最终，神经网络进入了漫长的低潮期，只有少部分研究者还在坚持这方面的研究：Yann LeCun（纽约大学/ Facebook）、Geoffrey Hinton（多伦多大学/谷歌）、Yoshua Bengio（蒙特利尔大学）和Jürgen Schmidhuber（瑞士人工智能实验室/卢加诺大学）都在这一行列中。他们的努力产生了一系列重要的成果，如卷积和长短期记忆网络，但一开始这些研究的影响有限。随后，神经网络突然也迎来了爆发期。
　　在 21 世纪初，一系列论文提到了这种架构的成功应用，包括几乎所有任务的最佳运行结果。而这些应用不约而同地使用了同一种方法：多层神经网络，这就是「深度学习」，通过大量数据用于训练， 大量计算机集群和显卡计算资源的使用，以及采用有效初始化和逐步随机梯度学习的优化算法。不幸的是，所有这些伟大的成就都是建立在无法理解的基础范式之上的。此外，从理论的角度看，深度学习在学习过程中所采用的最优化是非常不凸和难解的。
　　深度学习应用的大发展始于手写字符识别（见下图），随后缓慢地进入了更具挑战性的视觉、语音识别和自然语言处理任务中，并从此开始在任何任务里以有监督学习的形式出现。谷歌、Facebook 和微软这样的大公司很快意识到这一技术的潜力，它们投入了大量人力和资源来掌握这些工具，并将其投入产品中。而在学术方面，信号处理、图像处理和计算机视觉的各类大会已经被深度学习占领，它日益增长的主导地位逐渐让人工智能变得兴盛起来。
　　
　　深度学习仍在随着时间发展。为了简洁起见，我们以经典的图片去噪点任务为例（如下图）。这些年来，研究者们发表了数千份关于此任务的论文。研究人员利用偏微分方程的工具，如各向异性扩散、全变差、能量最小化、图像几何解释方法作为流型、贝特拉米流（Beltrami flow）等等，开发出了美丽而深刻的数学思想。谐波分析和近似理论同样应用于噪点任务，引出了小波理论和稀疏表示的重大突破。其他重要的思想包括低阶近似、非局部均值、贝叶斯估计和鲁棒统计。因此可以认为，我们在过去三十年中获得了丰富的图像处理知识，而这影响了许多图像处理任务，并稳固了其后的数学基础。