CNN基本结构 - 卷积神经网络(CNN)基础详细说明及其注意事项

一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。

对于图像识别任务，卷积神经网络的结构一般如下图所示。输入层读入经过简单的规则化（统一大小）的图像。每一层中的单元将前一层中的一组小的局部近邻的单元作为输入。这种局部连接观点来源于早期的感知器，并且和Hubel、Wiesel从猫科动物的视觉系统中发现的局部感知、方向选择神经元相一致。通过局部感知场，神经元能够抽取一些基本的视觉特征，比如有向边、结束点、边角等等。这些特征然后被更高层的神经元所使用。并且，适用于某个局部的基础特征抽取器同样也倾向于适用于整个图像。通过利用这种特征，卷积神经网络利用一组分布于图像各个不同位置但具有相同权值向量的单元，来获取图像的特征并构成一幅特征图（Feature Map）。在每个位置，来自不同特征图的单元得到各自不同类型的特征。一个特征图中的不同单元被限制为对输入图中的各个不同位置的局部数据进行同样的操作。这种操作等同于将输入图像对于一个小的核进行卷积。一个卷积层中通常包含多个具有不同权值向量的特征图，使得在同一个位置能够获得多种不同的特征。如下图，第一个隐含层包含4个特征图，每个特征图由5*5的局部感知区域构成。一旦一个特征被检测到，只要其相对于其他特征的相对位置没有改变，那么其在图像中的绝对位置就变得不是特别重要。因此，每个卷积层后面跟随着一个降采样层。降采样层进行局部平均和降采样的操作，降低特征图的分辨率，同时降低了网络输出对于位移和变形的敏感程度。第二个隐含层进行2*2的平均化降采样的操作。后续的卷积层和降采样层都交替分布连接，构成一个“双金字塔”结构：特征图的数目逐渐增多，而且特征图的分辨率逐渐降低。

由于所有权重都是通过反向传播算法训练得到 ，卷积神经网络可以被看作自动合成其自身的特征抽取器。

一般情况下卷积神经网络中，卷积层和降采样层交替连接在一起，用于降低计算时间并逐步建立起更高的空间和数据结构不变性，并通过比较小的降采样系数使得这些特性得以维持。

CNN的分类模型与传统模型的不同点在于其可以直接将一幅二维图像输入模型中，接着在输出端即给出分类结果。其优势在于不需复杂的预处理，将特征抽取，模式分类完全放入一个黑匣子中，通过不断的优化来获得网络所需参数，在输出层给出所需分类，网络核心就是网络的结构设计与网络的求解。这种求解结构比以往多种算法性能更高。

CNN是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。网络中包含简单元（S-元）和复杂元（C-元），S-元聚合在一起组成S-面，S-面聚合在一起组成S-层。C-元、C-面和C-层之间存在类似的关系。网络的中间部分由S-层与C-层串接而成，输入级只含一层，它直接接受二维视觉模式。样本特征提取步骤已嵌入到卷积神经网络模型的互联结构中。

一般，S为特征提取层，每个神经元的输入与前一层的局部感受野相连接，并提取该局部的特征，一旦该局部特征被提取，它与其它特征之间的位置关系就被确定；C是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相同。特征映射结构采用影响函数核小的Sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。由于每个映射面上的神经元权值共享，减少了网络的自由参数数目，降低了网络参数选择的复杂度。CNN中的每一个特征提取层（S-层）都跟着一个用来求局部平均与二次提取的计算层（C-层），这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。