解读深度学习是否过分夸大

2012年左右，多伦多大学的研究人员首次使用深度学习来赢下了ImageNet，它是一项非常受欢迎的计算机图像识别竞赛。对于那些参与AI行业的人来说，这是一个大问题，因为计算机视觉是使计算机能够理解图像背景的学科，也是人工智能中最具挑战性的领域之一。

当然，与任何其他产生巨大影响的技术一样，深度学习成为炒作的焦点。不同的公司和组织开始应用它来解决不同的问题（或假装应用它）。许多公司开始使用深度学习和先进的人工智能技术重塑其产品和服务。

与此同时，媒体也经常撰写有关人工智能和深度学习的故事，这些故事充满误导性，并且大多是由那些对技术运作方式没有正确理解的人撰写。他们大多使用关于人工智能的耸人听闻的头条来博眼球，这些也促成了围绕深度学习的炒作。

经过媒体的炒作后，许多专家认为深度学习被夸大了，它最终会消退并可能导致另一个人工智能冬季，从而使人们对人工智能的兴趣和资金投入大幅下降。其中一些著名专家也承认，深度学习已经触底，其中包括一些深入学习的先驱者。

但根据著名数据科学家和深度学习研究员杰里米·霍华德的说法，“深度学习过度夸大”的论点有点夸张。霍华德是fast.ai的创始人，fast.ai是一个非营利性的在线深度学习课程。

今年，霍华德在USENIX Enigma会议上发表的演讲中发表了许多反对深度学习的论点。整个视频非常清楚地说明了深度学习究竟做了什么和不做什么，这个演讲可以帮助你清楚地了解该领域。

以下是霍华德演讲主要反驳的几个论点：

深度学习只是一种时尚-明年它将是另一回事（NO!）

许多人认为深度学习是突然冒出来，最终也会突然消失。

霍华德反驳解释到：“你今天在深度学习中实际看到的是几十年研究的结果，而这几十年的研究终于达到了实际上给出最先进成果的程度。”

人工神经网络的概念是深度学习算法的主要组成部分，它已存在数十年，第一个神经网络可以追溯到20世纪50年代。

Mark I Perceptron是1957年神经网络的第一个实现

但是，由于数十年的研究以及数据和计算资源的可用性，深度学习的概念已经从实验室走出并进入实际领域。

霍华德说：“利用深度学习，人们可以减少很多复杂的繁琐的事务，我们应该期待看到[深度学习]继续发展下去而不是消失。”

深度学习和机器学习是一回事（NO!）

滥用人工智能词汇很容易导致了从业人员对行业的混淆和怀疑。有人说深度学习只是机器学习的另一个别称，而其他人则认为它与其他AI技术（如支持向量机（SVM），随机森林和逻辑回归）属于同一水平。

但深度学习和机器学习并不相同，深度学习是机器学习的一个子集。通常，机器学习适用于基于训练数据的数学模型和行为规则的所有技术。ML技术已经投入生产使用了很长时间。

在深度学习之前，科学家们必须在编写“功能”或模块方面投入大量精力，这些功能可以执行模型想要执行的任务的一小部分。例如，如果你想创建一个可以检测猫的图像的AI模型，你将不得不编写较小的程序来检测猫的特征，如耳朵、尾巴、鼻子、皮毛。而且你必须使这些程序足够强大，以便从不同角度和不同光照条件下检测这些特征，并告诉不同猫种之间的差异。最后你才能在这些功能之上进行机器学习。

如果你想解决更复杂的问题，如通过MRI扫描检测乳腺癌，那么创建特征将变得更具挑战性。霍华德说：“你将需要数十名领域专家与数十名计算机程序员和数学家合作，提出这些功能概念并对其进行编程。最后使用一个经典的机器学习模型，如逻辑回归。”这项工作大概需要数年的工作。

经典的机器学习方法涉及许多复杂的步骤，需要数十名领域专家、数学家和程序员的合作

深度学习用神经网络取代了艰苦的经典机器学习过程。霍华德将神经网络描述为“无限灵活的函数”。这意味着神经网络可以应用于机器学习解决的大多数问题，而无需通过以前必须执行的所有特定于域的特征工程。

要想神经网络解决特定问题，你需要调整其参数。为此，深度学习使用“梯度下降”，这是一种通用优化算法，可以将神经网络的参数与其想要解决的问题相匹配。

最后，深度学习利用了近年来可用的GPU和专用硬件的强大功能，以合理快速和可扩展的方式执行这些任务。

霍华德说：“只有在过去的几年里，这三件事情才能让我们真正使用神经网络来获得最先进的结果。”

因此，深度学习不是通过以前机器学习方法所涉及的专业知识密集型和容易出错的过程，而是提供样本数据（例如标记为猫图片，标记为癌症或非癌症的MRI扫描...）并训练神经元使用梯度下降的网络。神经网络比较并找到这些数据样本中的常见模式，并学习应用相同的知识来分类以前从未见过的新数据样本。

这种方法在过去几年中深入学习了最流行的人工智能技术，并引发了使用深度学习的应用程序的爆炸式增长。

深度学习只对图像识别有益（NO!）

很多人都承认深度学习是一种非常有用的人工智能技术，但很多批评者都抱怨它的使用仅限于解决涉及图像分类的问题！

“图像识别非常重要！”霍华德说。几年前，霍华德和一组研究人员在肺部CT扫描上训练了一个深度神经网络，并创建了一种算法，可以检测恶性癌症肿瘤，这个算法的结果诊断的结果与四名人类放射科医师相比，假阳性和阴性率更低。

霍华德还指出，许多问题可以重新理解为图像识别问题。例如，在中国古代游戏围棋中击败世界冠军的深度学习算法AlphaGo实际上是一个图像识别的卷积神经网络（CNN）。

“具体来说，AlphaGo所做的是看了很多在真人玩过的围棋的例子”霍华德解释道。“基本上，他们最终做了一个图像识别神经网络，他们试图学习的东西不是这张照片是猫还是狗，而是这是一张白子赢或黑赢的围棋照片。”这种方法一直是AlphaGo和许多掌握不同棋盘和视频游戏的AI算法成功的关键因素。

关键是，许多问题可以转化为图像识别问题，并通过深度学习解决。例如，霍华德深度学习课程的学生创建了一个神经网络，该网络在鼠标移动和点击的图像行为上进行训练。在这种情况下，他创建了一个卷积神经网络，试图根据这些图片预测欺诈行为。

深度学习可以将鼠标移动和点击的视觉表示转变为欺诈检测应用程序

也就是说，深度学习也证明了其超越计算机视觉和图像识别领域的价值。

霍华德指出，深度学习现在也适用于大多数自然语言处理（NLP）问题，这包括机器翻译和文本摘要等领域。NLP是一个关键组件，它可以使Siri，Alexa和Cortana等AI助手理解你的命令。（有一点要知道：深度学习对人类语言的掌握有限）

深度学习还可以解决涉及结构化数据的问题，例如电子表格中的行和列。例如，你可以为神经网络提供一组代表金融交易及结果（欺诈或正常）的行，并对其进行训练以预测欺诈性交易。

霍华德指出，深度学习也可以应用于时间序列和信号问题，例如连接到网络的不同IP地址的事件顺序或随时间收集的传感器数据。

深度学习的痛点

霍华德还指出了一些深度学习成效有限的领域，这些领域包括强化学习，对抗模型和异常检测。

一些专家认为强化学习是当前人工智能的圣杯。强化学习涉及开发AI模型而不向他们提供大量标记数据。在强化学习中，你为模型提供问题域的约束，并让它开发自己的行为规则。AlphaGo的高级版AlphaGo Zero就是使用强化学习从头开始训练自己，然后超过了AlphaGo。虽然深度强化学习是人工智能研究中比较有趣的领域之一，但它在解决现实问题方面没有明显的进展。Google Brain AI研究员Alex Irpan在深度强化学习的极限上有一篇引人深思的文章。

对抗模型是霍华德提及的另一个深度学习痛点。对抗性示例是操纵输入可能导致神经网络以非理性方式运行的实例。有很多研究人员展示了对抗性示例如何能够成为对AI模型的攻击者。虽然已经做了一些努力来加强深层学习模式以对抗对抗性攻击，但到目前为止，成功有限。部分挑战源于神经网络非常复杂且难以解释的事实。

异常检测，霍华德谈到的第三个深度学习痛点也非常具有挑战性。一般概念是在基线数据上训练神经网络，并让它确定偏离基线的行为。这是在网络安全中使用AI的主要方法之一，一些公司正在探索这一概念。但是，它仍然无法将自己确立为对抗安全威胁的非常可靠的方法。

深度学习是一个黑盒子

这是一个真正令人担忧的问题，尤其是在人工智能模型被赋予关键决策的领域，例如医疗保健、自动驾驶汽车和刑事司法。那些愿意让深度学习代表他们做出决定的人需要知道推动这些决策的因素是什么？不幸的是，当你在训练神经网络时获得的性能优势会降低你在决策过程中获得的可见性。这就是深度学习通常被称为“黑匣子”的原因。

但是，现在已经有了很多有趣的研究来解释AI决策，并帮助工程师和最终用户理解影响神经网络输出的元素。

深度学习需要大量数据

一般认为，要创建一个新的深度学习模型，需要访问数百万和数十亿个带标签的示例，这就是为什么只有大型科技公司才能创建它。

“需要大量数据的说法通常不正确，因为大多数人在实践中使用迁移学习”霍华德说。

迁移学习是机器学习中的一门学科，其中一个模型获得的知识被转移到执行类似任务的另一个模型。与人类如何将知识从一个领域转移到另一个领域相比，它非常原始。但是，迁移学习在深度学习领域是一个非常有用的工具，因为它使开发人员能够用更少的数据创建新模型。

霍华德解释说：“你从一个预先训练好的[神经]网络开始，然后为你的特定任务微调权重。一般来说，如果你有大约1,000个示例，你应该能够建立一个良好的神经网络。”

你需要博士学位才能进行核心深度学习

深度学习是一个非常复杂的计算机科学领域，它涉及许多高级数学概念。但是在过去几年中，学术界已经创建了大量的工具和库来抽象出潜在的复杂性，并使你能够无须解决过多的数学问题来开发深度学习模型。

Fast.ai和Keras就是两个现成的库，可用于快速开发深度学习应用程序。还有很多在线课程，包括霍华德的fast.ai，Coursera和其他课程，使你能够开始深入学习编程，只需要很少的编程知识。许多具有计算机科学以外背景的人已经能够将这些课程应用于现实世界的问题。

需要明确的是，深度学习研究仍然是一个非常先进和复杂的领域，人才既稀缺又昂贵。开发新的深度学习技术的人是一些最令人垂涎和收入极高的研究人员。但这并不意味着其他人需要拥有相同水平的知识才能在他们的应用程序中使用这些研究项目的结果。

深度学习需要大量的计算能力

“你可能会担心你需要一个充满GPU的大房间，总的来说这并不是真的，我现在看到的绝大部分成功结果都是用一个GPU完成的。” 霍华德说

大型公司和组织进行的大型研究项目需要大量的GPU，例如一款机器人手用6144 CPU和8个GPU进行训练出来的。另一个例子是OpenAI Five，一个训练有素的AI模型，可以玩著名的Dota 2在线战斗竞技游戏，OpenAI Five是用了128,000个CPU内核和256个GPU的训练的结果。

但是，大多数实际问题都可以通过单个GPU解决。例如，你可以通过一个GPU来完成霍华德的Fast.ai课程。

总结：

我建议你观看整个视频，其中，霍华德深入研究了一些更专业的主题，例如你是否可以将深度学习应用于信息安全。重要的是我们要了解深度学习的范围和限制以及机会和优势，因为它是我们这个时代最有影响力的技术之一。深度学习不是过分夸大，也许它只是没有很好地被理解。