2020年AI如何发展？

AI改变世界不再是将来时而是正在进行时。在新的十年开启之际，各行业AI顶尖人物重新审视了2019年在该领域取得的进步，并展望了机器学习在2020年的发展前景。本文介绍了PyTorch的创建者Soumith Chintala、加利福尼亚大学教授Celeste Kidd、谷歌AI负责人Jeff Dean、英伟达机器学习研究总监Anima Anandkumar和IBM研究总监Dario Gil对过去一年AI发展的回顾及新的一年对其发展的期许。

PyTorch的董事、首席工程师和创建者Soumith Chintala

PyTorch是当今世界上最受欢迎的机器学习框架。PyTorch是2002年引入的Torch开源框架的衍生产品，于2015年开始使用，并在扩展和库方面不断稳步增长。

今年秋天，Facebook发布了带有量化和TPU支持的PyTorch 1.3，以及深度学习可解释性工具Captum和PyTorch Mobile。还有诸如PyRobot和PyTorch Hub之类的东西，用于共享代码并鼓励机器学习（ML）实践者实现可重复性。

Chintala曾表示，2019年他几乎没有看到机器学习取得什么突破性进展。

“实际上，我认为自Transformer模型以来，就没有做出什么具有开创性的事情。ConvNets在2012年进入黄金时段，而Transformer则在2017年左右。这是我个人的看法，”他说。

他继续称DeepMind的AlphaGo在强化学习方面的贡献是具有开创性的。但是他说，对于现实世界中的实际任务而言，很难实现这一结果。

Chintala还认为，机器学习框架（如PyTorch和谷歌的TensorFlow）的发展已改变了研究人员探索思想和开展工作的方式，这些机器在当今的ML实践者中广受欢迎。

今年，谷歌和Facebook的开源框架引入了量化，以提高模型训练的速度。在未来的几年中，Chintala希望PyTorch的JIT编译器和Glow等神经网络硬件加速器的重要性和采用率呈“爆炸式增长”模式。

“有了PyTorch和TensorFlow，你就已经看到了框架的融合。量化和其他较多低级别效率的出现是因为下一场战争将从框架的编译器XLA、TVM和PyTorch的Glow处开始，即将出现大量的创新，”他说。“在接下来的几年中，你将看到如何更智能地量化、如何更好地融合、如何更有效地使用GPU以及如何自动为新硬件进行编译。”

与大多其他领域的AI专家一样，Chintala预测2020年，AI社区将会把更多的价值放在AI模型性能上，而不仅仅是准确性，并开始将注意力转移到其他重要因素上，比如创建模型所需的力量以及AI如何更好地反映人们想要建立的社会类型。

“回顾过去的五六年，你会发现我们只关注准确性和原始数据，例如英伟达的模型更准确吗？Facebook的模型更准确吗？我认为2020年将是我们开始（以更复杂的方式）进行思考的一年，”Chintala表示。

加州大学伯克利分校的发展心理学家Celeste Kidd

Celeste Kidd是加州大学伯克利分校基德实验室的主任，她和她的团队在这里探索孩子们的学习方式。他们的见解可以帮助神经网络的创建者，这些创建者正在尝试以与抚养孩子相似的方式来训练模型。

她说：“婴儿没有得到标记的数据集，但是它们管理得很好，对我们而言重要的是要了解这种情况是如何发生的。”

让Kidd在2019年感到惊讶的一件事是，越来越多的神经网络创建者开始低估自己或其他研究人员的工作，因为他们无法做婴儿可以做的事情。

她说，当你对婴儿的行为进行平均计算时，你会看到有证据表明他们实际上了解某些事情，但他们绝对不是完美的学习者，而这种谈话对婴儿的行为描述得过于乐观。

她说：“婴儿很棒，但他们会犯很多错误，并且人们在与婴儿做对比时比较随便，这都是为了使婴儿行为在人口层面上理想化。我认为你目前所知道的与下一步想要了解的信息之间的联系将会越来越密切。”

在人工智能领域，“黑匣子”这个词已经存在多年。它曾经被用来批评神经网络缺乏可解释性，但Kidd认为，2020年可能意味着结束人们对神经网络无解释性这一认知。

她说：“黑匣子的论点是假的……大脑也是黑匣子，但我们在理解大脑如何工作方面却取得了很大进步。”

在揭开对神经网络认识的神秘面纱时，Kidd着眼于MIT-IBM Watson AI Lab执行总监Aude Oliva等人的工作。

“我们当时正在谈论这个问题，我说过该系统是一个黑匣子，她责备我说他们当然不是黑匣子。当然，你可以将它们分解并拆开，看看它们如何工作并对其进行实验，就像我们为理解认知所做的一样，”Kidd说。

上个月，Kidd在神经信息处理系统（NeurIPS）会议上发表了开幕式主题演讲，这是世界上最大的年度AI研究会议。她的演讲重点关注人脑如何固守顽固的信念、注意力系统和贝叶斯统计。

她说，Goldilocks提供信息的区域介于一个人以前的兴趣和理解之间，而这对他们来说是令人惊讶的，因为人们通常倾向于较少参与过度令人惊讶的内容。

她还提到没有中立的技术平台，并且她会将注意力转向内容推荐系统的创建者如何操纵人们的信念。追求最大参与度的系统可能会对人们形成信念和观点的方式产生重大影响。

Kidd在演讲的最后谈到了机器学习中对男性的误解，即与女性同事独处会导致性骚扰指控并威胁到男性的职业发展。她说，这种误解实际上是会损害女性在该领域的职业发展。

因在罗切斯特大学发表过涉及性行为不端的言论，Kidd与其他女性一起被评为2017年“年度人物”。这些女性帮助实现了我们现在所说的#MeToo运动，以平等对待女性。当时，Kidd认为此次大声疾呼将结束她的职业生涯。

在2020年，她希望看到人们对技术工具和技术决策对现实生活影响的认识有所提高，不赞同工具制造商不应对人们如何使用这些工具负责这一说法。

“我听到很多制造商说自己不是真理的审判者，并以此来逃避责任，但是我觉得必须正视这一说法的不诚实性。作为社会的一员，尤其是作为从事与这些工具相关工作的人员，我们的确需要意识到随之而来的责任，”Kidd说。

谷歌AI总监Jeff Dean

Dean领导谷歌AI已有近两年时间，但他实际上已经在谷歌工作了二十年，是该公司许多早期搜索和分布式网络算法的架构师，也是Google Brain的早期成员。

Dean上个月在NeurIPS上就ASIC半导体设计的机器学习以及AI社区应对气候变化的方式进行了演讲，他说这是我们这个时代最重要的问题。在关于气候变化的讨论中，Dean讨论了AI可以努力成为零碳行业以及AI可以用来帮助改变人类行为的想法。

他预计到2020年，多模式学习领域将取得进展，这是一种依靠多种媒体进行训练的AI，而多任务学习则涉及旨在一次可完成多个任务的网络。

毫无疑问，2019年最大的机器学习趋势之一是基于Transformer的自然语言模型的持续增长和扩散，该模型曾被称为近年来人工智能最大的突破之一。谷歌于2018年开源了基于Transformer的模型BERT。根据GLUE排行榜，今年发布的许多性能最高的模型（比如谷歌的XLNet、微软的MT-DNN和Facebook的RoBERTa）都基于Transformer。相关人士表示，XLNet 2将于本月晚些时候发布。

Dean指出了已经取得的进展，他说：“我认为整个研究线程在实际产生机器学习模型方面成果显著，不过尽管现在让我们做的机器学习模型比过去复杂得多，但仍然有很大的进步空间。我们仍然希望能够执行更多与语境相关的模型。像现在这样，BERT和其他模型可以很好地处理数百个单词，但不能处理含1万个单词左右的文章。因此，这是一个有趣的研究方向。”Dean希望少强调一些最新技术，而倾向于创建更强大的模型。

谷歌AI还将努力推进新的举措，例如Everyday Robot，这是一个于2019年11月推出的内部项目，旨在制造能够在家庭和工作场所完成日常任务的机器人。

英伟达机器学习研究总监Anima Anandkumar

Anandkumar在担任AWS首席科学家后加入了GPU制造商英伟达。在英伟达，人工智能研究在多个领域进行，从医疗保健的联合学习到自动驾驶，再到超级计算机和图形学。

2019年，英伟达和Anandkumar在机器学习方面的研究重点主要是强化学习的仿真框架，这些框架也越来越受欢迎和成熟。

在2019年，我们看到了英伟达的Drive自动驾驶平台和Isaac机器人模拟器的兴起，以及从模拟和生成对抗网络（GAN）生成综合数据模型的兴起。

去年该公司还迎来了AI的兴起，例如StyleGAN和GauGAN。上个月，StyleGAN2也已经面世。

GAN是可以模糊现实界限的技术，Anandkumar认为，它们可以帮助AI社区尝试解决一些主要挑战，例如如何抓住机器人的手和自动驾驶。

Anandkumar还希望迭代算法、自我监督和自主训练模型的方法在未来一年能取得进展，这些模型可以通过对未标记数据进行自训练来改进。

“我认为各种不同的迭代算法都是未来，因为如果你只做一个前馈网络，那么鲁棒性就会成为问题，”她说。“如果你尝试进行多次迭代，并且根据所需的数据类型或精度要求来调整迭代次数，那么实现这一目标的机会就更大了。”

Anandkumar看到了2020年AI社区面临的众多挑战，例如需要与领域专家一道创建专门针对特定行业的模型。决策者、个人和AI社区也将需要应对具有代表性的问题，以及确保用于训练模型的数据集能够涵盖不同的人群。

她说：“我认为面部识别问题很容易掌握，但在很多其他领域，人们还没有意识到使用数据据信息存在隐私问题。”

Anandkumar说，面部识别获得了最大的关注，因为很容易理解面部识别如何侵犯个人隐私，但是2020年AI社区还面临许多其他道德问题。“我们将在如何收集数据以及如何使用数据方面经历越来越严格的审查。”

在Anandkumar看来，2019年的一大惊喜是文本生成模型的发展速度。“2019年是语言模型之年。现在，我们第一次达到了在段落的长度上更连贯使用文本生成，这在之前是不可能实现的，”Anandkumar说。

在2019年8月，英伟达推出了Megatron自然语言模型。Megatron拥有80亿个参数，被誉为全球最大的基于Transformer的AI模型。Anandkumar说，她对人们开始将模型表征为具有个性的方式感到惊讶，她期待看到更多针对特定行业的文本模型。

“我们还没有进入对话互动的阶段，对话可以保持跟踪并进行自然对话。因此，我认为在2020年需要朝这个方向前进，”她说。

开发用于控制文本生成的框架要比开发可以训练以识别人或物体的图像框架更具挑战性。文本生成模型还可能面临例如为神经模型定义事实的挑战。

最后，Anandkumar说，她很高兴看到Kidd在NeurIPS上的演讲，并被机器学习社区中越来越成熟和包容的迹象所鼓舞。

她说：“我觉得现在是分水岭。一开始要想做点小改动都很困难，并且一不注意水坝就可能破裂了。但是现在，我希望能保持这种势头，并进行更大的结构改革，促进行业的蓬勃发展。”

IBM Reaserch总监Dario Gil

Gil领导的一组研究人员积极为白宫和世界各地的企业提供咨询服务。他认为，2019年的重大飞跃包括围绕生成模型的进步以及可产生合理语言不断提高的质量。

他预测，在降低精度的体系结构上，更有效的训练将继续取得进展。更高效AI模型的开发是NeurIPS的重点，IBM Research在此引入了具有8位精度模型的深度学习技术。

他说：“在我们使用具有GPU架构的现有硬件训练深度神经网络的方式上，效率仍然远远不够。因此，我们必须提高AI的计算效率，需要做更多的事情来实现这一目标。”

Gil引用相关研究表明，对机器学习训练的需求每三个半月翻一番，这比摩尔定律所预测的增长要快得多。

Gil也对AI如何帮助加速科学发现感到兴奋，但是IBM Research将主要专注于机器学习的神经符号方法。

Gil希望AI从业者和研究人员将专注于准确性以外的指标，以考虑生产中部署模型的价值。将领域转移到构建受信任的系统，而不是将准确性放在首位，这将是继续采用AI的中心支柱。

“社区中的某些成员可能会说，‘不用担心，只是提供准确性。没关系，人们会习惯这个东西有点黑匣子’，或者他们会提出这样的论点，即人类有时不会对我们做出的某些决定产生解释。我认为，非常重要的一点是，我们应该集中社区的智慧力量，在此方面做得更好。人工智能系统不能成为关键任务应用的黑匣子，”他说。

Gill相信要摆脱这样的观念，即只有少数机器学习向导才能做到AI，以确保更多的具有数据科学和软件工程技能的人采用AI。

他说：“如果我们把它作为一个神话领域，只有从事此工作的博士才能进入，可这并没有真正为它的采用做出贡献。”

operate a program， and models that can share the reasoning behind their decisions.

2020年，Gil对神经符号AI特别感兴趣。IBM将寻求神经符号方法来增强诸如概率性编程之类的功能，其中AI将学习如何操作程序以及可共享其决策背后原因的模型。

“通过与一种新的当代方法混合，这些神经符号方法将学习和推理结合在一起，其中符号维度被嵌入到学习程序中，就可以利用少量数据进行学习，”他说。“由于学习了程序，最终得到了一些可解释的东西，并且由于你拥有了可解释的东西，因此你有了更受信任的东西。”

他还提到，公平性、数据完整性和数据集选择等问题将继续引起人们的广泛关注。与生物识别技术有关的任何事情都将如此。面部识别得到了很多关注，但这仅仅是开始。语音数据以及其他形式的生物识别技术将越来越具有敏感性。他继续引用了哥伦比亚大学教授Rafael Yuste的话，他从事神经技术研究，并正在探索提取神经元模式的方法。

Gil说：“我以这个例子为例是想表达，在未来与人的身份、生物特征相关的领域会备受关注，人工智能在分析这些方面取得的进步将继续处于前沿和中心位置。”

除了神经符号和常识推理外，MIT-IBM Watson Lab的一项旗舰计划以及IBM Research在新的一年还将探索AI的量子计算以及降低精度架构之外的AI模拟硬件。

总结

机器学习正在不断塑造着商业和社会。随着Transformers推动该领域巨大的发展，自然语言模型的进步是2019年的主要成就。而在2020年，研究人员和专家将寻找更多基于BERT和Transformer模型的变体，并看到了一系列新的发展趋势：

除了关注准确性外，AI行业应该寻找评估模型输出的新方法。

诸如半监督学习、机器学习的神经符号方法以及多任务和多模式学习方法等子领域可能会在未来一年中取得进展。

与生物统计数据（如语音记录）相关的伦理挑战可能会继续引起争议。

诸如量化之类的编译器和方法可能会在诸如PyTorch和TensorFlow之类的机器学习框架中作为优化模型性能的方式而流行起来。