卷积神经网络的主要两个特征

卷积神经网络（CNN）是一种目前计算机视觉领域广泛使用的深度学习网络，与传统的人工神经网络结构不同，它包含有非常特殊的卷积层和降采样层（有些文章和书籍里又称之为池化层、汇合层），其中卷积层和前一层采用局部连接和权值共享的方式进行连接，从而大大降低了参数数量。降采样层可以大幅降低输入维度，从而降低网络复杂度，使网络具有更高的鲁棒性，同时能够有效的防止过拟合。由于以上设计，卷积网络主要用来识别缩放，位移以及其他形式扭曲不变的二维图形，并且可以直接以原始图片作为输入，而无需进行复杂的预处理工作。

卷积神经网络的结构

常见的卷积网络前面几层是卷积层和降采样层交替出现的，然后跟着一定数量的全连接层。如图所示，这是著名的LeNet-5卷积神经网络，在上世纪90年代，它被大量应用于手写数字的识别。这个网络一共含有7层(不包含输入层)，输入是32*32的图片，C1是卷积层，它含有6个特征图，每一个的尺寸为28*28,卷积核的尺寸为5*5, S2是一个降采样层，将输入由28*28降维成14*14，同样，C3是一个卷积层，S4为一个降采样层，后面全部为全连接层。

局部连接与权值共享

卷积层最主要的两个特征就是局部连接和权值共享，有些地方又叫做稀疏连接和参数共享，总之都是一个意思。所谓局部连接，就是卷积层的节点仅仅和其前一层的部分节点相连接，只用来学习局部特征。局部感知结构的构思理念来源于动物视觉的皮层结构，其指的是动物视觉的神经元在感知外界物体的过程中起作用的只有一部分神经元。在计算机视觉中，图像中的某一块区域中，像素之间的相关性与像素之间的距离同样相关，距离较近的像素间相关性强，距离较远则相关性就比较弱，由此可见局部相关性理论也适用于计算机视觉的图像处理领域。因此，局部感知采用部分神经元接受图像信息，再通过综合全部的图像信息达到增强图像信息的目的。从下图中我们可以看到，第n+1层的每个节点只与第n层的3个节点相连接，而非与前一层全部5个神经元节点相连，这样原本需要5*3=15个权值参数，现在只需要3*3=9个权值参数，减少了40%的参数量，同样，第n+2层与第n+1层之间也用同样的连接方式。这种局部连接的方式大幅减少了参数数量，加快了学习速率，同时也在一定程度上减少了过拟合的可能。

局部连接

卷积层的另一大特征是权值共享，比如一个3*3的卷积核，共9个参数，它会和输入图片的不同区域作卷积，来检测相同的特征。而只有不同的卷积核才会对应不同的权值参数，来检测不同的特征。如下图所示，通过权值共享的方法，这里一共只有3组不同的权值，如果只用了局部连接的方法，共需要3*4=12个权值参数，而加上了权值共享的方法后，现在仅仅需要3个权值，更进一步地减少参数数量。

权值共享