物理波动力学计算在模拟循环神经网络的应用

（文章来源：量子认知）

对人脑神经元网络系统进行抽象建立模型构成的人工神经网络，简称神经网络或类神经网络。神经网络的基础是大量的称为节点的神经元的元素的集合，通常以紧密互连的束状排列。简而言之，神经元是具有多个输入和单个输出的特征的细胞。单元的输出是其输入的直接函数，每个单元在输出的总体贡献中得到不同的“关注”。这种“注意力”水平称为权重。输出会带有某种阈值效应，仅在神经元超过这个阈值时才产生激发响应。连接到激发神经元的相关输入被“激发”，该过程在整个网络中进行，直到最终输出。

对神经元行为进行建模的数学形式表示，可以是离散或脉冲形式的模型，这是现在人工智能中常用的数字电子技术实现的神经元器件；还可以是连续形式表示的模型，这是代表人体中神经细胞活动的最接近表示，是通过模拟电子技术实现的神经元器件。

用模拟电子技术实现的神经元器件，称为模拟神经元。用模拟神经元组成的网络称为模拟神经网络。循环神经网络（Recurrent Neural Network, 简称RNN）是一类以序列数据为输入，在序列的演进方向进行递归且所有节点，即循环单元，按链式连接的递归神经网络。模拟循环神经网络，就是通过模拟电子技术，而不是数字电子技术，实现的循环神经网络。

机器学习在执行复杂的信息处理任务方面取得了显著成功，例如计算机视觉识别和机器翻译，这是过去传统计算方法难以实现的。但是，这些应用程序的计算需求呈指数级增长，这促使人们努力开发新的专用硬件平台，以快速高效地执行机器学习模型。其中包括神经形态硬件平台，其架构模仿大脑的生物电路。此外，利用连续物理系统的自然演化来执行计算的模拟计算平台也正在成为实现机器学习的重要方向。

模拟机器学习提供了更节能、更快速、更切合人的神经网络的平台。基于声学和光学的波物理学是为时变信号构建模拟处理器的自然选择。

最近，斯坦福大学应用物理与电气工程系的研究团队确定了循环神经网络中波物理动力学与计算之间的映射，该映射关系表明，可以使用神经网络的标准训练技术来训练物理波系统，以学习时间数据中的复杂特征。作为示例，研究人员证明了逆设计的非均匀介质可以对原始音频信号进行元音分类，因为原始音频信号的波形在其中分散并传播，从而实现了与递归神经网络的标准数字实现相当的性能。

为了证明波动力学和循环神经网络之间的等效性，研究人员确定了循环神经网络的功能及其与波动力学的关系。通过在逐步过程中对每个输入序列成员应用相同的基本操作，循环神经网络可以将输入序列转换为输出序列。然后，循环神经网络的隐藏状态将对先前步骤的内存进行编码，以在每个步骤中进行更新。隐藏状态可以保留对过去信息的记忆，并了解数据的时间结构和长期依赖关系。

这样，研究团队提出了一种基于波的模拟循环神经网络，具有许多良好的质量指标，从而创立了一个最具希望的处理时间编码信息。使用物理学来执行计算可能会激发出一个模拟机器学习设备的新平台，以便比其数字同类产品更自然、更有效地执行计算。研究团队使用传播介质的大小确定了模拟循环神经网络隐藏状态的大小及其存储容量。他们表明波动方程的动力学在概念上与循环神经网络等效。这种概念上的联系将为新型的模拟硬件平台铺平道路，其中不断发展的时间动力学将在物理和大数据处理中扮演重要角色。
      （责任编辑：fqj）