Caffe - 通过对比深度学习各大框架的优缺点寻找最优

虽然 Caffe 在视频识别领域是一个流行的深度学习网络，但是 Caffe 却不能像 TensorFlow、CNTK 和 Theano 那样支持细粒度网络层。构建复杂的层类型必须以低级语言完成。由于其遗留架构，Caffe 对循环网络和语言建模的支持总体上很薄弱。

Caffe2

目前，贾扬清和他在 Facebook 的团队正在开发新一代框架 Caffe2。今年 4 月 18 日，Facebook 开源了 Caffe2。Caffe 2 与 Caffe 的区别是什么？Caffe2 更注重模块化，在移动端、大规模部署上表现卓越。如同 TensorFlow，Caffe2 使用 C++ Eigen 库，支持 ARM 架构。

用一个实用脚本，Caffe 上的模型可轻易地被转变到 Caffe2 上。Caffe 设计的选择使得它处理视觉类型的难题时很完美。Caffe2 延续了它对视觉类问题的支持，且增加了对自然语言处理、手写识别、时序预测有帮助的 RNN 和 LSTM 支持。

期待不久之后能看到 Caffe 2 超越 Caffe，就像它宣称的那样在深度学习社区流行。

在本周三英伟达推出 Volta 架构的第一块加速卡 Tesla V100 后，Caffe 的开发者第一时间展示了 Tesla V100 在 Caffe2 上运行 ResNet-50 的评测。数据显示在新框架和新硬件的配合下，模型每秒钟可以处理 4100 张图片。

CNTK

微软的 CNTK（Microsoft Cognitive Toolkit）最初是面向语音识别的框架。CNTK 支持 RNN 和 CNN 类型的网络模型，从而在处理图像、手写字体和语音识别问题上，它是很好的选择。使用 Python 或 C++ 编程接口，CNTK 支持 64 位的 Linux 和 Windows 系统，在 MIT 许可证下发布。

与 TensorFlow 和 Theano 同样，CNTK 使用向量运算符的符号图（symbolic graph）网络，支持如矩阵加/乘或卷积等向量操作。此外，像 TensorFlow 和 Theano 一样，CNTK 有丰富的细粒度的网络层构建。构建块（操作）的细粒度使用户不需要使用低层次的语言（如 Caffe）就能创建新的复杂的层类型。

CNTK 也像 Caffe 一样基于 C++ 架构，支持跨平台的 CPU/GPU 部署。CNTK 在 Azure GPU Lab 上显示出最高效的分布式计算性能。目前，CNTK 不支持 ARM 架构，这限制了其在移动设备上的功能。

MXNet

MXNet（发音为 mix-net）起源于卡内基梅隆大学和华盛顿大学的实验室。MXNet 是一个全功能、可编程和可扩展的深度学习框架，支持最先进的深度学习模型。MXNet 支持混合编程模型（命令式和声明式编程）和多种编程语言的代码（包括 Python、C++、R、Scala、Julia、Matlab 和 JavaScript）。2017 年 1 月 30 日，MXNet 被列入 Apache Incubator 开源项目。

MXNet 支持深度学习架构，如卷积神经网络（CNN）、循环神经网络（RNN）和其包含的长短时间记忆网络（LTSM）。该框架为图像、手写文字和语音的识别和预测以及自然语言处理提供了出色的工具。有些人称 MXNet 是世界上最好的图像分类器。

MXNet 具有可扩展的强大技术能力，如 GPU 并行和内存镜像、快速编程器开发和可移植性。此外，MXNet 与 Apache Hadoop YARN（一种通用分布式应用程序管理框架）集成，使 MXNet 成为 TensorFlow 有力的竞争对手。

MXNet 不仅仅只是深度网络框架，它的区别在于支持生成对抗网络（GAN）模型。该模型启发自实验经济学方法的纳什均衡。

Torch

Torch 由 Facebook 的 Ronan Collobert 和 Soumith Chintala，Twitter 的 Clement Farabet（现任职于英伟达），以及 Google DeepMind 的 Koray Kavukcuoglu 共同开发。很多科技巨头（如 Facebook、Twitter 和英伟达）都使用定制版的 Torch 用于人工智能研究，这大大促进了 Torch 的开发。Torch 是 BSD 3 协议下的开源项目。然而，随着 Facebook 对 Caffe 2 的研究，以及其对移动设备的支持，Caffe 2 正成为主要的深度学习框架。

Torch 的编程语言为 Lua。Lua 不是主流语言，在开发人员没有熟练掌握 Lua 之前，使用 Torch 很难提高开发的整体生产力。

Torch 缺乏 TensorFlow 的分布式应用程序管理框架，也缺乏 MXNet 和 Deeplearning4J 对 YARN 的支持。缺乏多种编程语言的 API 也限制了开发人员。

PyTorch

PyTorch 由 Adam Paszke、Sam Gross 与 Soumith Chintala 等人牵头开发，其成员来自 Facebook FAIR 和其他多家实验室。它是一种 Python 优先的深度学习框架，在今年 1 月被开源，提供了两种高层面的功能：

使用强大的 GPU 加速的 Tensor 计算（类似 numpy）

构建于基于 tape 的 autograd 系统的深度神经网络