Yann LeCun创造的新词＂预测学习＂到底有何含义

Yann LeCun在很多演讲中反复提到一个著名的“蛋糕”比喻：

如果人工智能是一块蛋糕，那么强化学习（ Reinforcement Learning）是蛋糕上的一粒樱桃，监督学习（Supervised Learning）是外面的一层糖霜，无监督学习（ Unsupervised Learning）则是蛋糕胚。

目前我们只知道如何制作糖霜和樱桃，却不知如何制作蛋糕胚。

到12月初巴塞罗那的NIPS 2016时，LeCun就开始使用“预测学习”（Predictive Learning）这个新词，来代替蛋糕胚“无监督学习”了。

LeCun在演讲中说道：

我们一直在错过一个关键因素就是预测（或无监督）学习，这是指：机器给真实环境建模、预测可能的未来、并通过观察和演示来理解世界是如何运行的能力。

这是一个有趣的微妙的变化，暗示了LeCun对于“蛋糕”看法的改变。其观点认为在加速AI发展进程之前，有很多的基础性工作要完成。换句话就是，通过增加更多的能力（比如记忆、知识基础和智能体）来建立目前的监督式学习，这意味着在我们能够建造那个“预测性的基础层级”之前，还有很多漫长艰辛的路途要走。

在其最新的NIPS 2016的演讲中，LeCun放出了这么一张PPT，列出了AI发展中的障碍：

机器需要学习/理解世界是如何运行的（包括物理世界、数字世界、人等，获得一定程度的常识）

机器需要学习大量的背景知识（通过观察和行动实现）

机器需要观察世界的状态（以做出精准的预测和计划）

机器需要更新并记忆对世界状态的估测（关注重大事件，记住相关事件）

机器需要推理和规划（预测哪些行为，会最终导致理想的世界状态）

预测学习，很显然要求其能够不仅在无人监督的情况下学习，而且还能够习得一种预测世界的模型。LeCun正在尝试改变我们对AI的固有分类的原因，或许是在表明，AI离最终的目标还有很多艰辛的路途要走。

最近受雇于苹果的Ruslan Salakhudinov教授曾做过一个关于无监督学习的演讲，在他演示的这张PPT的最右下角，提到了“生成对抗网络”（GANs）。

GANs由相互竞争的神经网络组成：生成器和辨别器，前者试图产生假的图像，后者鉴别出真正的图像。

GANs系统有趣的特点就是，一个封闭的形状损失函数并不是必须的。实际上，一些系统能够发现自己的损失函数，这是很令人惊喜的。但GANs网络的一个缺点，就是很难训练，这当中需要为一个非合作性的双方博弈，找到一个纳什均衡。

Lecun在一个最近的关于无监督学习的演讲中称，对抗性网络是“20年来机器学习领域最酷的想法”。

Elon Musk所资助的非营利研究组织OpenAI，对生成模型格外偏爱。他们的动力可以总结为理查德·费曼的一句名言“不是我创造的，我就不能理解”（What I cannot create, I do not understand）。费曼这里其实是指“首要原则”（First Principles）思考方法：通过构建验证过的概念来理解事物。

在AI领域，或许就是指：如果一个机器能够生成具有高度真实感的模型（这是一大飞跃），那么它就发展出了对预测模型的理解。这恰好就是GANs所采取的方法。

这些图片都是由GANs系统根据给定词汇生成的。比如，给定词汇有“红脚鹬”、“蚂蚁”、“修道院”和"火山"，便生成了如下图像。

这些生成的图像很令人惊艳，我想很多人类都不会画得这样好。

当然，这个系统也不是完美的，比如下面这些图像就搞砸了。但是，我见过很多人在玩“画图猜词”游戏时画得比这些糟糕多了。

目前的共识是，这些生成模型并不能准确捕捉到给定任务的“语义”：它们其实并不能理解“蚂蚁”、“红脚鹬”、"火山"等词的意义，但却能很好地进行模仿和预测。这些图片并不是机器基于原有训练图片库的再创造，而是根据通用模型（Generalized Model）所推断出的非常接近现实的结果。

这种使用对抗性网络的方法，异于经典的机器学习方法。我们有两个互相竞争的神经网络，但又好像在共同协作达成一种“泛化能力”（ Generalization）。

在经典的机器学习领域，研究人员先定义一个目标函数，然后使用他最喜爱的优化算法。但这当中有一个问题，那就是我们都无法准确得知所定的目标函数是否是正确的。而GANs令人惊喜的地方在于，它们甚至能够习得自己的目标函数！

这里一个迷人的发现就是，深度学习系统可塑性极强。经典的机器学习认为目标函数和约束条件都是固定的观念，或者认为最优算法是固定的观念，此时并不适用于机器学习领域了。而更令人惊喜的是，甚至元级（Meta-Level）方法也能够使用，也就是说，深度学习系统可以学习“如何学习”了。