Facebook 联手微软推出 ONNX 标准 - 深度学习领域Facebook等巨头在2017都做了什么

Facebook 联手微软推出 ONNX 标准，共筑开放 AI 生态

2017 年 9 月，Facebook 联手微软发布了一个全新的开源项目——ONNX（Open Neural Network Exchange），欲借此打造一个开放的深度学习开发工具生态系统，让不同的神经网络开发框架做到互通互用。目前，CNTK，PyTorch ， Caffe2，MXNet 已宣布支持 ONNX。

为何要共同打造 ONNX 开放平台？

目前的开发现状如下：大体上，每个框架都会针对某个特定属性进行优化，比如训练速度、对网络架构的支持、能在移动设备上推理等等。在大多数情况下，研发阶段最需要的属性和产品阶段是不一样的。而在任意一个框架上训练的神经网络模型，无法直接在另一个框架上用。开发者需要耗费大量时间精力把模型从一个开发平台移植到另一个。这导致效率的降低以及进度延迟。

而借助 ONNX，开发者能实时跟踪某个神经网络是如何在框架上生成的，接着，使用这些信息创建一个符合 ONNX 标准的通用计算图。大家能更方便地在不同框架间切换，为不同任务选择最优工具。使用支持 ONNX 表示方式的框架，大幅简化了切换过程，让开发者的工具选择更灵活。

GitHub 地址：https://github.com/onnx/onnx

微软基于 CNTK，推出 CNTK 2

2016 年初，微软开源 CNTK 深度学习工具包。作为语音识别领域声名卓著的开发工具，CNTK 具有相当不错的可扩展性、速度和精确性。

2017 年 6 月，微软在 GitHub 上放出了 CNTK 的第一个候选（RC）版本，完成内测。在 Blog 中，微软表示，CNTK 是一个针对深度学习的系统，可以用来加速诸如语音、图像识别以及搜索相关性（search relevance）等领域相关研究，并可运行于 CPU 或英伟达 GPU。此外，CNTK 既可本地运行，也可在云端基于 Azure GPU 运行。

在 6 月更新的这一版本中，Layers 算法库得到了大幅升级。大量的通用「layers」已预定义，使编写包含标准层级的简单网络变得十分容易。新的 Cognitive Toolkit 评估算法库在易用性和性能上也得到大幅升级。

此后，在 2.0 的多个 Beta 和 RC 版本中，微软逐步更新了 CNTK 对 Python、C++、C#、Java 等的 API 支持，对 Keras 的后端支持等新功能。在 2.1 中，cuDNN 版本升级到 6.0，支持 Universal Windows Platform。在 2.2 中，微软又做了许多模型支持相关的改进。

在 2017 年底的 2.3 版本中，又有如下几个改进：提供了对 ONNX 标准的更好支持，分布式训练支持切换到 NCCL2，改进了 C# API 的支持，增加了网络优化 API，以及更快的稀疏 Adadelta。

GitHub 地址：https://github.com/Microsoft/CNTK