增强学习 - 2016年的AI，一场史无前例的技术营销

增强学习（reinforcement learning）——让机器观测到一些输入，并让机器根据输入做特定动作（action）。这些动作导致机器获得收益或者惩罚（reward）。机器通过增强学习优化它的动作策略（strategy），使得它的长期收益最大化。下棋就是这一类典型的问题，strategy就是行棋策略，reward就是赢棋。

深度学习（deep learning）——事实上不是一类问题，而只是一种方法，一种通过多层神经网络来构建上述三种问题所需要的模型的方法。

回到历史。这一波的AI热，最早应归功于Hinton老头子的文章《A fast learning algorithm for deep belief nets》这篇文章是2005年写的，截至2017年1月14日已有5000＋的引用，足见其影响力）这篇文章实际上是用一种无监督学习的方法实现了对原始数据逐层抽取深度特征，而这些深度特征可以被用为有监督学习的特征来提高有监督学习的准确率。这解决了长久以来神经网络“无法做深”的痛点（原因是训练信号会随着深度增加而被稀释，有兴趣的读者可查阅相关资料），算是一个比较大的贡献。不过当时这个文章传达的大方向是用无监督学习的方法抽取特征（这个过程叫做pre－training），并没有把重点放在有监督学习本身的模型上，所以当时的同学们对于有监督／无监督在方向选择上是有点迷茫的。

这种迷茫直到2012年还存在。这一年的一件大事是Andrew NG等人的Google Brain团队，搞了一个庞大的分布式深度学习，在ImageNet图片物体分类竞赛中把对手远远甩在了身后（《Building High－level Features Using Large Scale Unsupervised Learning》）前面已经说过，物体分类是一个有监督学习任务，但是由于Hinton老爷子定下的无监督学习基调，Andrew NG等人还是把重心放在了无监督学习生成特征上面，并且做出了那幅著名的“机器学习出来的猫”。有趣的是，在2012年的NIPS上，Hinton和NG的团队同时放弃了pre－training。失去了pre－training的帮助，就需要其他方法解决训练信号被稀释的问题，Hinton团队的方法是换了一种叫做ReLU的激活函数（ 《ImageNet Classification with Deep Convolutional Neural Networks》），NG团队的方法则是怼机器，大量的机器（《Large Scale Distributed Deep Networks》）。Hinton团队同时还抛出了CNN应用到ImageNet上的表现，CNN和ReLU这两个东西非常重要，成为此后深度学习研究的标配。结果Hinton团队这篇文章的引用数有8000多，而NG团队的两篇分别是700多和1000多。NG的营销能力强，学术创新上却总是比Hinton老爷子慢半拍。Anyway，自从12年NIPS这两篇文章之后的一段时间，大家对无监督学习就不怎么感冒了。

2012年Andrew NG团队无监督学习生成的猫脸图片。图片来源：New York Times

也是从2012年的ImageNet竞赛开始，AI进入第一个营销高潮。当时的人们对于计算机识别小猫小狗这种事情还觉得很新鲜，于是接下来科研圈的开始对此类事情趋之若鹜。几乎每个做机器学习的实验室都会尝试一把在State－of－the－art的模型上做一点哪怕是很小的微创新，希望能产生ImageNet准确率上一点哪怕是很小的提升，一旦成功了，就可以说自己是新的State－of－the－art。从那以后，大家开始只关心实验的准确率，越来越少的人关心模型本身的理论价值。AI研究的方法论，从传统科学的重视推理论证，变成了快速尝试＋总结相关性（也就是所谓的“大数据思维”）。毕竟准确率数字是很好拿出去说的，理论价值却很难讲清楚。 AI自此进入营销时代。

在AI学术界这一翻天覆地的变化背后，Andrew NG功不可没。深度学习理论上的重要突破大多都不是归属于他的，然而他做了几件重要的事情：2008年发起“Stanford Engineering Everywhere”（SEE）项目，把自己的机器学习课程曝光给全世界人民；2011年组建了Google Brain项目，这个项目初期的最主要产出之一就是后来被媒体大书特书的那张无监督学习出来的猫脸，并且这个结果在报道的时候给人一种“机器有了自主学习能力”的认知；2012年创立Coursera，在MOOC社区中进一步营造出一种AI大繁荣的景象。NG大概是这几年媒体出镜率最高的AI学术圈人士。与其说是一位科学家，Andrew NG的角色更像是一位优秀的AI产品经理及营销人员，他的营销能力在圈内早已得到公认。关于NG的营销能力，在NIPS 2016会议上还有一个有趣的小细节，将会在后面提到。

回到我们的时间线，鉴于2012年底深度学习在有监督学习上的巨大成功，一段时间内大家忙于把这项技术推广到各个应用领域跑马圈地（其实主要还是图像和语音），暂时忘掉了无监督学习和生成猫脸的事情。到了2014年，当各个领域都被圈的差不多了，学术界在苦苦寻找下一个噱头的时候，大神Ian Goodfellow通过一个叫做“干”的东西（GAN，Generative Adversarial Network）把无监督学习重新带回了人们的视线。“干”干的就是“给计算机看一些小狗小猫的照片，让计算机自动生成一些新的（与看过的相似但又不同的）小狗小猫的照片”这样一件事情，不同点在于，它干的非常不错。一时间，AI学术界迅速高潮了，纷纷竞争起生成图片（以及语音、音乐等各种其他东西）的生意来。大家也并不关心我们为什么需要生成这些图片（相比之下语音合成和自动生成音乐反而更容易理解一些），大概只是觉得“能干这件事情看起来就很牛逼”，于是就做了，而且做的越来越好。下图是Ian Goodfellow在NIPS 2016上讲GAN的Tutorial里展示的一个生成小动物的demo（《NIPS 2016 Tutorial： Generative Adversarial Networks》）。

GAN生成的小动物图片。图片来源：Ian Goodfellow， NIPS 2016 Tutorial： Generative Adversarial

与此同时，DeepMind在增强学习上的努力，则一直在相对低调地进行。增强学习在很长一段时间内被认为是“仅停留在学术研究”的存在，因其难以降下来的巨大状态空间和动作空间，很难做出一个可展示又足够吸引吃瓜群众的demo。因而在AlphaGo诞生之前，增强学习的研究一直处于一个不温不火的状态。一个叫做“DQN”的东西的出现打破了这个局面。通过把深度学习应用在strategy的学习更新上，巧妙避开大状态空间和动作空间，DQN使得在一个相对小的多的参数空间内训练成为可能（《Playing Atari with Deep Reinforcement Learning》）。这是一个了不起的成就，为后来的AlphaGo奠定了基础。这个伟大想法产生的时间在2013年以前（前述文章在2013年发表），而直到2015年AlphaGo问世之后才被广为传颂。可见一个漂亮的demo是多么重要。

再然后，就是大家都知道的事情了。