深度学习做AI的十种方法的详细分析

不管是AI也好，其他学科也好，学习、研究的过程中不断反思学科的历史，总结学科的发展现状，找出最重要的理念，总能让人能“吾道一以贯之”。软件工程师James Le近期根据他研究的经验总结出了AI研究必须要知道的十种深度学习方法，非常具有启发性。

The 10 Deep Learning Methods AI Practitioners Need to Apply

人们对机器学习的兴趣在过去十年经历了爆炸式的发展。计算机科学项目中、业界会议中、媒体报道中，你都能够看到机器学习的影子。但是似乎所有关于机器学习的讨论中，人们常常会把AI能做什么和他们希望AI能做什么混为一谈。

从根本上来讲，机器学习其实就是使用算法从原始数据中提取信息，并以某种类型的模型表示出来；然后我们使用这个模型来推断我们尚未建模的其他数据。

神经网络作为机器学习的一类模型，它们已经存在了至少50年。神经网络的基本单元是节点，大致上模仿了哺乳动物大脑中的生物神经元的节点；节点之间的链接（也是模仿生物大脑）随着时间的推移（训练）而演化。

在上世纪八十年代中期和九十年代早期，许多重要的神经网络构架都已经做出了，不过要想获得好的结果还需要足够强大的计算能力和大体量的数据集，这些当时在当时很不理想，所以也导致人们对机器学习的热情逐渐冷淡了下来。在21世纪初，计算机的计算能力呈现了指数级的增长——业界见证了计算机技术的“寒武纪大爆发”，这在之前几乎是不可想象的。深度学习作为这个领域中一个重要的架构，在计算能力爆发式增长的十年中，赢得了许多重要的机器学习竞赛。这个红利的热度直到今年仍未降温；今天，我们看到在机器学习的每个角落里都会提到深度学习。

最近，我也开始阅读一些深度学习方面的学术论文。下面这些是我收集到的几篇对深度学习领域的发展有重大影响的几篇论文：

1、Gradient-Based Learning Applied to Document Recognition (1998)

意义：向机器学习世界引进了卷积神经网络

作者：Yann LeCun, Leon Bottou, Yoshua Bengio, and Patrick Haffner

2、Deep Boltzmann Machines (2009)

意义：为玻尔兹曼机提出了一种新的学习算法，其中包含许多隐藏变量层。

作者：Ruslan Salakhutdinov, Geoffrey Hinton

3、Building High-Level Features Using Large-Scale Unsupervised Learning (2012)

意义：解决了仅从未标记的数据构建高层次、特定类别的特征检测器的问题。

作者：Quoc V. Le，Marc’Aurelio Ranzato，Rajat Monga，Matthieu Devin，Kai Chen，Greg S. Corrado，Jeff Dean，Andrew Y. Ng

4、DeCAF — A Deep Convolutional Activation Feature for Generic Visual Recognition (2013)

意义：释放了一个深度卷积激活特征的开源实现——DeCAF，以及所有相关的网络参数，使视觉研究人员能够深入地在一系列视觉概念学习范例中进行实验。

作者：Jeff Donahue，Yangqing Jia，Oriol Vinyals，Judy Hoffman，Ning Zhang，Eric Tzeng，Trevor Darrell

5、Playing Atari with Deep Reinforcement Learning (2016)

意义：提供了第一个可以使用强化学习从高维感官输入中直接学习控制策略的深度学习模型。

作者：

Volodymyr Mnih，Koray Kavukcuoglu，David Silver，Alex Graves，Ioannis Antonoglou，Daan Wierstra，Martin Riedmiller（DeepMind 团队）

在这些学习和研究中，我发现大量非常有意思的知识点。在这里我将分享十个深度学习的方法，AI工程师可能会将这些应用到他们的机器学习问题当中。

不过，首先先让我们来定义一下什么是“深度学习”。对很多人来说，给“深度学习”下一个定义确实很有挑战，因为在过去的十年中，它的形式已经慢慢地发生了很大的变化。

先来在视觉上感受一下“深度学习”的地位。下图是AI、机器学习和深度学习三个概念的一个关系图。