注意力机制或将是未来机器学习的核心要素

（文章来源：雷锋网）

目前注意力机制已是深度学习里的大杀器，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。

借鉴于人类的注意力机制，关注注意焦点，注意力机制是作为一种通用的思想出现的。

Bengio在其报告《与意识相关的深度学习先验》中提到，丹尼尔·卡尼曼的书《思考，快与慢》中指出人的认知系统有两类，一类是无意识（快系统）的，关键词是直觉、非语言、习惯；第二类是有意识的（慢系统），关键词是语言性、算法性，推理和计划。

Bengio指出，第二类认知系统允许对语义概念进行操纵、重组，这对于当前的人工智能和机器学习算法来说是一个非常渴望的特性。

但目前的机器学习方法还远没有从无意识发展到全意识，但是Bengio相信从“无”到“有”的转变完全可能，而注意力则是转变过程的核心要素之一。在报告中，Bengio提到，注意力机制每次都关注其中某几个概念并进行计算，因为意识先验及其相关的假设中，许多高层次的依赖关系可以被一个稀疏因子图近似地捕捉到。

最后，报告介绍了元学习，这种先验意识和代理视角下的表征学习，会更加有助于以新颖的方式，支持强大的合成泛化形式。此次报告的主题是深度学习的未来发展方向，特别是深度学习与意识的关系。其实神经科学对意识内容的研究在近几十年里已经有了很大的进展。

所以现在是机器学习考虑这些将意识加入模型的时候了。另一方面，这对意识的研究也有好处，能够在测试意识的特定假设功能以及正式化方面提供帮助，也能够让我们从意识中获得一些魔力，并理解意识的进化优势、计算和统计优势。
      （责任编辑：fqj）