- 深度学习中最常见的10个方法，你应该知道！

Back-prop反向传播只是一种简单计算函数的偏导数的方法，它具有函数组合的形式（如神经网络中）。当你使用基于梯度的方法解决最优化问题（梯度下降只是其中之一）时，你希望在每次迭代时计算函数渐变，这个时候它便可以发挥作用。

对于神经网络，其目标函数具有组合的形式。你如何计算梯度？有两种常见的方法可以做到：（i）分析微分法。如果你知道函数的形式，你只需使用链式规则（基本微积分）计算导数。（ii）有限差分的近似微分。该方法在计算上是昂贵的，因为评估函数的数量是O（N），其中N是参数的数量。与解析微分相比，这种方法的计算成本是昂贵的。在调试时，通常使用有限差分验证反向传播的执行效果。

随机梯度下降

想象梯度下降的直观方式是想象一条源自山顶的河流的路径。梯度下降的目标正是河流努力实现的目标，即从山顶流到最低点。

现在，如果山的地形形状使得河流在到达其最终目的地之前不必完全停在任何地方，这是我们想要的理想情况。在机器学习中，这相当于说，我们已经从初始点（山顶）开始找到解决方案的全局最小值（或最优值）。然而，可能由于地形性质，导致河流路径出现若干的坑洼，会迫使河流困住和停滞。在机器学习方面，这种坑洼被称为局部最优解，这是我们不想要的情况。当然有很多方法可以解决局部最优解问题，这里我不打算进一步讨论。

因此，梯度下降倾向于陷入局部最小值，这取决于地形的性质（或ML术语中的函数）。但是，当你有一种特殊的山地形状（形状像一个碗，用ML术语称为凸函数）时，算法始终能够找到最优值。你可以想象将这条河流可视化。在机器学习中，这些特殊的地形（也称为凸函数）总是需要优化的。另外，你从山顶开始（即函数的初始值）的位置不同，最终你到达山底的路径也完全不同。同样，根据河流的流淌速度（即梯度下降算法的学习速率或步长），你可能会以不同的方式到达目的地。你是否会陷入或避免一个坑（局部最小），都会被这两个标准影响。

学习速率衰减

调整随机梯度下降优化程序的学习速率可以提高性能并缩短训练时间。有时这也被称为学习率退火或自适应学习率。在训练期间最简单且最常用的学习率调整是随时间降低学习率的技术。在训练初期使用较大的学习速率值，可以对学习速率进行大幅调整；在训练后期，降低学习速率，使模型以一个较小的速率进行权重的更新。这种技术在早期可以快速学习获得一些较好的权重，并在后期对权重进行微调。

两种流行且易于使用的学习率衰减如下：

● 在每个环节逐渐降低学习率。
● 在特定时期使用大幅下降来降低学习速率。

Dropout

具有大量参数的深度神经网络是非常强大的机器学习系统。然而，过度拟合是这种网络中的严重问题。大型网络使用起来也很慢，因此在测试时将许多不同的大型神经网络的预测结合起来很难处理过度拟合。Dropout就是一种解决此问题的技术。

关键思想是在训练期间从神经网络中随机删除单元及其连接，这可以防止单元间的过度适应。在训练期间，从指数数量的不同“稀疏”网络中抽取样本。在测试时，通过简单地使用具有较小权重的单解开网络（untwinednetwork），很容易近似平均所有这些稀疏网络以达到预测的效果。这显着减少了过度拟合，并且比其他正则化方法表现的更好。Dropout已被证明可以改善神经网络在计算机视觉，语音识别，文档分类和计算生物学等领域的监督学习任务的性能，并在许多基准数据集上获得最先进的结果。

最大池化

最大池化是基于样本的离散化过程。目的是对输入表示（图像、隐藏层输出矩阵等）进行下采样，通过降低其维数并允许对包含在子区域中的特征进行合并。