如何解决数据稀疏而对深度学习的影响问题？详细方法概述

深度学习，有太多令人惊叹的能力！从12年的图像识别开始，深度学习的一个个突破，让人们一次又一次的刷新对它的认知。然而，应用深度学习，一直有一个巨大的前提：大量标注数据。但是难道数据少，就享受不到深度学习带来的红利了么？近日来自卡内基梅隆大学、亚马逊研究院、加州理工学院的研究员，在人工智能顶级会议 UAI 上阐述了多种方法，尝试缓解甚至解决数据稀疏对深度学习的影响。

主要方法

为了解决深度学习数据少，和数据稀疏， 目前业界的主流方法有一下5种：

数据增广

半监督学习

迁移学习

领域自适应

主动学习

下面，我们对这5种方式进行一个简单的介绍，详细的介绍.

数据增广

数据增广，主要是想，对现有的数据，添加噪声等各种其他变换，从而产生一些有意义的数据，是的数据集增加，从而解决数据稀疏的问题，提升模型性能。 特别的，如图所示，Zachary Lipton 介绍了近期他的一个工作：利用 GAN来做图像数据增广。

半监督学习

半监督学习的情形是指：我们拥有少量的标注样本（图中橘色部分）以及大量的未标注样本（图中蓝色部分）。

半监督学习，一般的思路是：在全部数据上去学习数据表示，在有标签的样本上去学习模型，用所有数据去加正则。

迁移学习

迁移学习，主要是想，在一个拥有大量样本的数据(图中蓝色部分)上去学习模型，在改动较少的情况下，将学习到的模型迁移到类似的目标数据(图中橘色部分)和任务上。

领域自适应

领域自适应，主要是想，在已有的标注数据p(x,y)上学习模型, 然后尝试在另一个分布上q(x，y)上去做应用。

主动学习

主动学习，维护了两个部分：学习引擎和选择引擎。学习引擎维护一个基准分类器，并使用监督学习算法对系统提供的已标注样例进行学习从而使该分类器的性能提高，而选择引擎负责运行样例选择算法选择一个未标注的样例并将其交由人类专家进行标注，再将标注后的样例加入到已标注样例集中。学习引擎和选择引擎交替工作，经过多次循环，基准分类器的性能逐渐提高，当满足预设条件时，过程终止。