训练深度神经网络的感觉就像买彩票，“打了折”的深度学习

MIT CSAIL近期发表文章《彩票假设：寻找稀疏可训练的神经网络》认为神经网络就像中彩票并不是每一张都有用，但应设法找到最能中奖的那个，因此可通过消除神经网络结构件不必要的连接（也称修剪）适应低功率设备，在一系列条件下不断重复该过程，神经网络可缩小10%到20%，但并不影响准确率，甚至比原始网络跟快。

根据齐鲁晚报报道，最近威海一彩民获得了1219万大奖，可以说是非常幸运了，看的一众神经网络“炼丹师”们羡慕不已。

训练深度神经网络的感觉就像买彩票

HackerNews网友opwieurposiu就吐槽，做DNN其实根本和买彩票没什么区别：先是收集训练数据，然后写一个python脚本，支付大约1美元的GPU时间，跑一下。所不同的是，你盯着的不是轮盘的转针，而是损失函数图。

95%的时间都是废的，但是每隔一段时间你就会得到很大的回报。中奖的时候，你可能觉得自己真是个天才！但复盘的时候又发现，你根本不知道为什么A方式有效而B就不行。这种感觉，跟压彩票非常相似。

1美元的神经网络很小了。为了更好地学习，神经网络就必须非常大，需要海量数据集，整个训练过程可能要持续好多天。投入100美元、1000美元、10000美元……的时候，你可能感受到的不仅仅是经费在燃烧了。

可是，如果说，实际上神经网络不一定要那么大呢？

不修剪了，把没用的部分直接砍掉！

MIT CSAIL的两位研究人员Jonathan Frankle和Michael Carbin发表过一篇论文《彩票假设：寻找稀疏的、可训练的神经网络》刚刚被评为ICLR最佳论文。

论文指出，神经网络剪枝技术可以在不影响精度的前提下，将训练网络的参数数量减少90%以上，降低存储需求并提高推理的计算性能。然而，当前的经验是，剪枝产生的稀疏架构从一开始就很难训，然而同时也能提高了效率。

Frankle和Carbin发现，一个标准的修剪技巧可以自然的显露出一个子网络，初始化该网络就能提高训练效率。因此他们提出了 “彩票假设”(lottery ticket hypothesis)：任何密集、随机初始化的前馈网络，都包含一个子网络，以便在隔离训练时可以在最多相同数量的训练迭代中，匹配原始网络的准确性。

然而，在成功的找到这个子网络之前，必须经过多次训练和“修剪”整个网络。这就好像你去买了一大包彩票，然后从里面找出中奖的那个。神经网络的好处是，所有的彩票都在你的手中，你总能找出来中奖的那个。

如果能确切的定位到原始网络中哪个子网络跟最终预测相关，那么也就用不着多次训练和“修建”，直接砍掉无关的部分即可。这样又进一步的降低了工作量，提高了效率。这就意味着，要通过一种技巧，使得每次买彩票必中！

彩票假设也可能迁移学习产生影响，在这种情况下，为图像识别等任务训练的网络可以帮助完成不同的任务。

“打了折”的深度学习

感谢大家对神经网络的过度热捧，使得越来越多的人感叹于神经网络的神奇效果，但很少有人理解训练一个神经网络有多难。一来成本高昂，二来耗时漫长。所以研究人员必须做出许多让步，在模型的大小、训练耗时和最终表现等多个方面进行权衡。

包括今天两位主角提出的“彩票假设”的验证过程。他们首先采用一种通用的方法，用最低的“权重”“修剪”连接来消除受过训练的网络的不必要连接，使其适用于智能手机等低功耗设备。

“彩票假设”的关键创新，是发现经过网络训练之后，修剪连接可能根本就没有必要。为了测试这个假设，他们尝试再次训练完全相同的网络，但没有修剪连接。

重要的是，他们将每个连接“重置”到训练开始时分配的权重。这些初始权重对于帮助中奖来说至关重要，没有它们，被修剪的网络将无法学习。通过修剪越来越多的连接，最终确定了哪些是可以删掉而不影响模型预测能力。

为了验证这一假设，他们在各种条件下在许多不同的网络上重复了这个过程数万次。实验结果显示MNIST和CIFAR10的“中奖彩票”的规模，始终要小于几个全连接架构和卷积前馈架构的10%-20%。这样的话，不仅深度网络在体积上打了折扣，成本、耗时都大打折扣。

下一步，该团队计划探索为什么某些子网特别擅长学习，以及有效找出这些子网的方法。

Google已经用Python实现了彩票假设算法，并在Github上开源：

https://github.com/google-research/lottery-ticket-hypothesis