循环神经网络 - 什么是神经网络？学习人工智能必会的八大神经网络盘点

3. 循环神经网络

为了理解循环神经网络模型，我们需要对序列建模进行简要概述。当将机器学习应用于序列时，我们经常希望将输入序列转换为不同域中的输出序列。例如，将一系列的声压转换成一系列的单词。

当没有单独的目标序列时，我们可以通过尝试预测输入序列中的下一项来获得学习的信号。目标的输出序列是提前一步的输入序列，这似乎比尝试预测图像中其他像素的一个像素或图像其余部分的一个像素来的更自然。

预测序列中的下一个术语模糊了有监督学习和无监督学习之间的区别。它使用专为监督学习而设计的方法，但它不需要单独的学习信号。

无记忆模型是这个任务的标准方法。具体而言，自回归模型可以从先前固定数量的术语中使用“延迟抽头”来预测序列下一项；而前馈神经网络是使用一层或多层非线性隐藏单元的广义自回归模型。

但是，如果我们给生成模型一些隐藏的状态，而这个隐藏的状态又有一个内部的动态，我们就会得到一个更有趣的模型：它可以长时间地将信息存储在隐藏状态。

如果动态是带噪声的，那么从隐藏状态产生输出的方式也是带噪声的，我们永远无法知道它的确切的隐藏状态。我们能够做的是推断隐藏状态矢量空间的概率分布。这种推断只适用于两种隐藏状态模型。

循环神经网络是非常强大的，因为它们结合了两个属性：

1） 分布式隐藏状态：允许网络有效地存储大量有关过去的信息;

2） 非线性动态：允许模型能够以复杂的方式更新隐藏状态。

有了足够的神经元和时间，循环神经网络能够计算任何通过计算机可以计算出来的东西。

那么循环神经网络可以展现出什么样的行为呢？

它们可以摆动，可以定点吸引，还可以表现出混乱，而且它们还可以通过学习来实现大量的小程序，每个小程序能够捕获一小块知识并且并行运行，相互作用来产生非常复杂的效果。

然而，循环神经网络的计算能力使得这种网络结构很难训练，因为会有梯度爆炸或消失的问题。当我们通过多层次的反向传播时，如果权重很小，梯度将呈指数缩小。如果权重很大，梯度会呈指数增长。

典型的前馈神经网络可以应付这些梯度的指数效应，因为它们只有一些隐藏层。另一方面，在训练长序列的循环神经网络时，梯度很容易爆炸或消失。即使是具有良好的初始权重的网络模型，也很难检测到当前目标输出对来自多个时间步骤输入的依赖，因此循环神经网络难以处理远程依赖性。

基本上，有以下四种有效的方法来学习循环神经网络：

长短期记忆块：使循环神经网络脱离长时间记忆值依赖的小模块。

Hessian Free Optimization：通过使用优化器来处理消失梯度问题，该优化器可以检测具有微小梯度和更小曲率的方向。

回声状态网络：初始化输入 -》隐藏层和隐藏层 -》隐藏层和输出 -》隐藏连接，可以通过输入选择性地驱动该振荡器，以便让隐藏状态具有巨大的弱耦合振荡器。

良好的动态初始化：像回声状态网络一样初始化，然后使用动量来学习所有的连接。