深度学习优化技术实践应用分析

　　自2012年Deep Learning的代表模型AlexNet在ImageNet大赛中力压亚军，以超过10个百分点的绝对优势夺得头筹之后，依托于建模技术的进步、硬件计算能力的提升、优化技术的进步以及海量数据的累积，Deep Learning在语音、图像以及文本等多个领域不断推进，相较于传统作法取得了显著的效果提升。工业界和学术界也先后推出了用于Deep Learning建模用途的开源工具和框架，包括Caffe、Theano、Torch、MXNet、TensorFlow、Chainer、CNTK等等。其中MXNet、TensorFlow以及CNTK均对于训练过程提供了多机分布式支持，在相当大程度上解放了DL建模同学的生产力。但是，DL领域的建模技术突飞猛进，模型复杂度也不断增加。从模型的深度来看，以图像识别领域为例，12年的经典模型AlexNet由5个卷积层，3个全连接层构成（图1），在当时看来已经算是比较深的复杂模型，而到了15年， 微软亚洲研究院则推出了由151个卷积层构成的极深网络ResNet（图2）；从模型的尺寸来看，在机器翻译领域，即便是仅仅由单层双向encoder，单层decoder构成的NMT模型（图3），在阿里巴巴的一个内部训练场景下，模型尺寸也达到了3GB左右的规模。从模型的计算量来看，上面提到的机器翻译模型在单块M40 NVIDIA GPU上，完成一次完整训练，也需要耗时近三周。

　　Deep Learning通过设计复杂模型，依托于海量数据的表征能力，从而获取相较于经典shallow模型更优的模型表现的建模策略对于底层训练工具提出了更高的要求。现有的开源工具，往往会在性能上、显存支持上、生态系统的完善性上存在不同层面的不足，在使用效率上对于普通的算法建模用户并不够友好。阿里云推出的PAI（Platform of Artificial Intelligence）［18］产品则致力于通过系统与算法协同优化的方式，来有效解决Deep Learning训练工具的使用效率问题，目前PAI集成了TensorFlow、Caffe、MXNet这三款流行的Deep Learning框架，并针对这几款框架做了定制化的性能优化支持，以求更好的解决用户建模的效率问题。

　　这些优化目前都已经应用在阿里巴巴内部的诸多业务场景里，包括黄图识别、OCR识别、机器翻译、智能问答等，这些业务场景下的某些建模场景会涉及到几十亿条规模的训练样本，数GB的模型尺寸，均可以在我们的优化策略下很好地得到支持和满足。经过内部大规模数据及模型场景的检测之后，我们也期望将这些能力输出，更好地赋能给阿里外部的AI从业人员。

　　图1. AlexNet模型示例

　　图2. 36层的ResNet模型示例

　　图3. NMT模型架构示例

　　接下来，本文会扼要介绍一下在PAI里实现的大规模深度学习的优化策略。

　　2.大规模深度学习优化策略在PAI中实践应用

　　大规模深度学习作为一个交叉领域，涉及到分布式计算、操作系统、计算机体系结构、数值优化、机器学习建模、编译器技术等多个领域。按照优化的侧重点，可以将优化策略划分为如下几种：

　　I. 计算优化

　　II. 显存优化

　　III. 通信优化

　　IV. 性能预估模型

　　V 软硬件协同优化

　　PAI平台目前主要集中在显存优化、通信优化、性能预估模型、软硬件协同优化这四个优化方向。

　　1）。 显存优化

　　内存优化主要关心的是GPU显存优化的议题，在Deep Learning训练场景，其计算任务的特点（大量的满足SIMD特性的矩阵浮点运算执行序列，控制逻辑通常比较简单）决定了通常我们会选择GPU来作为计算设备，而GPU作为典型的高通量异构计算设备，其硬件设计约束决定了其显存资源往往是比较稀缺的，目前在PAI平台上提供的中档M40显卡的显存只有12GB，而复杂度较高的模型则很容易达到M40显存的临界值，比如151层的ResNet、阿里巴巴内部用于中文OCR识别的一款序列模型以及机器翻译模型。从建模同学的角度来看，显存并不应该是他们关心的话题，PAI在显存优化上做了一系列工作，期望能够解放建模同学的负担，让建模同学在模型尺寸上获得更广阔的建模探索空间。在内存优化方面， 通过引入task-specific的显存分配器以及自动化模型分片框架支持，在很大程度上缓解了建模任务在显存消耗方面的约束。其中自动化模型分片框架会根据具体的模型网络特点，预估出其显存消耗量，然后对模型进行自动化切片，实现模型并行的支持，在完成自动化模型分片的同时，我们的框架还会考虑到模型分片带来的通信开销，通过启发式的方法在大模型的承载能力和计算效率之间获得较优的trade-off。

　　2）。 通信优化

　　大规模深度学习，或者说大规模机器学习领域里一个永恒的话题就是如何通过多机分布式对训练任务进行加速。而机器学习训练任务的多遍迭代式通信的特点，使得经典的map-reduce式的并行数据处理方式并不适合这个场景。对于以单步小批量样本作为训练单位步的深度学习训练任务，这个问题就更突出了。

　　依据Amdahl’s law［19］，一个计算任务性能改善的程度取决于可以被改进的部分在整个任务执行时间中所占比例的大小。而深度学习训练任务的多机分布式往往会引入额外的通信开销，使得系统内可被提速的比例缩小，相应地束缚了分布式所能带来的性能加速的收益 。

　　在PAI里，我们通过pipeline communication、late-multiply、hybrid-parallelism以及heuristic-based model average等多种优化策略对分布式训练过程中的通信开销进行了不同程度的优化，并在公开及in-house模型上取得了比较显著的收敛加速比提升。

　　在Pipeline communication（图4）里，通过将待通信数据（模型及梯度）切分成一个个小的数据块并在多个计算结点之间充分流动起来，可以突破单机网卡的通信带宽极限，将一定尺度内将通信开销控制在常量时间复杂度。