案例 - 卷积神经网络训练过程中的SGD的并行化设计

可变的 batch size
对于方案 (b) 和 (c) 在运行同步 128K SGD 的时候相对于方案 (a) 有了一些细微的变动，其中 (a) 是标准的 forward-backward 传播方式。(b) 和 (c) 方案在全连接层执行 K 次 forward 和 backward 过程，每一次执行不同的 128 examples，这就是说，如果我们愿意，我们可以在上面每一次局部的后向传播执行过程结束之后，更新全连接层的系数，这样不会带来任何额外的计算开销。因此，我们可以在全连接层使用 batch size = 128，在卷积层 batch size = 128K。用了这样的可变 batch size 之后，这就不再是一个纯粹的并行 SGD 算法了，因为不再为任何与卷积层一致的模型更新梯度值，但是事实证明，在实践中，这并不重要。在实际中，使用有效的 batch size 从 128K 到数千，在全连接层使用小的 batch size，最后能够更快的收敛到更好的极小值。

案例图示

上图给出了方案 (b) 的 forward 和 backward 传播，其中 K = 2，即 2 个 workers。

在三层结构的卷积层中，两路数据并行的方案被实施。在两层结构的全连接层中，两路模型并行的方案被实施。上图将数据并行和模型并行 2 个过程分解为 6 个过程。
step1：卷积层数据并行实现前向传播（3个卷积层顺序执行，2个 worker 数据并行执行）
step2：阴影部分的卷积层将数据传递给两个全连接层，模型并行实现前向传播（2个全连接层顺序执行，FC11 和 FC12 模型并行执行，FC21 和 FC22 模型并行执行）
step3：全连接层实现反向传播，并将梯度数据传回卷积层
step4：同 step2，worker 2 的卷积层数据传递到全连接层，实现前向传播
step5：同 step3，全连接层实现反向传播，将梯度传回 worker 2 对应的卷积层
step6：完成卷积层的反向传播。