ConvNet体系结构与训练 - 基于nolear建立的ConvNet体系结构并用它去训练一个特征提取器

现在，定义我们的ConvNet体系结构，然后使用单GPU/CPU来训练它（我有一个非常廉价的GPU，但它很有用）
net1 = NeuralNet(
layers=[('input', layers.InputLayer),
('conv2d1', layers.Conv2DLayer),
('maxpool1', layers.MaxPool2DLayer),
('conv2d2', layers.Conv2DLayer),
('maxpool2', layers.MaxPool2DLayer),
('dropout1', layers.DropoutLayer),
('dense', layers.DenseLayer),
('dropout2', layers.DropoutLayer),
('output', layers.DenseLayer),
],
# input layer
input_shape=(None, 1, 28, 28),
# layer conv2d1
conv2d1_num_filters=32,
conv2d1_filter_size=(5, 5),
conv2d1_nonlinearity=lasagne.nonlinearities.rectify,
conv2d1_W=lasagne.init.GlorotUniform(),
# layer maxpool1
maxpool1_pool_size=(2, 2),
# layer conv2d2
conv2d2_num_filters=32,
conv2d2_filter_size=(5, 5),
conv2d2_nonlinearity=lasagne.nonlinearities.rectify,
# layer maxpool2
maxpool2_pool_size=(2, 2),
# dropout1
dropout1_p=0.5,
# dense
dense_num_units=256,
dense_nonlinearity=lasagne.nonlinearities.rectify,
# dropout2
dropout2_p=0.5,
# output
output_nonlinearity=lasagne.nonlinearities.softmax,
output_num_units=10,
# optimization method params
update=nesterov_momentum,
update_learning_rate=0.01,
update_momentum=0.9,
max_epochs=10,
verbose=1,
)
# Train the network
nn = net1.fit(X_train, y_train)

如你所视，在layers的参数中，我们定义了一个有层名称/类型的元组字典，然后定义了这些层的参数。在这里，我们的体系结构使用的是两个卷积层，两个池化层，一个全连接层（稠密层，dense layer）和一个输出层。在一些层之间也会有dropout层，dropout层是一个正则化矩阵，随机的设置输入值为零来避免过拟合（见下图）。

Dropout层效果

调用训练方法后，nolearn包将会显示学习过程的状态，我的机器使用的是低端的的GPU，得到的结果如下：
# Neural Network with 160362 learnable parameters

## Layer information

# name size
--- -------- --------
0 input 1x28x28
1 conv2d1 32x24x24
2 maxpool1 32x12x12
3 conv2d2 32x8x8
4 maxpool2 32x4x4
5 dropout1 32x4x4
6 dense 256
7 dropout2 256
8 output 10

epoch train loss valid loss train/val valid acc dur
------- ------------ ------------ ----------- --------- ---
1 0.85204 0.16707 5.09977 0.95174 33.71s
2 0.27571 0.10732 2.56896 0.96825 33.34s
3 0.20262 0.08567 2.36524 0.97488 33.51s
4 0.16551 0.07695 2.15081 0.97705 33.50s
5 0.14173 0.06803 2.08322 0.98061 34.38s
6 0.12519 0.06067 2.06352 0.98239 34.02s
7 0.11077 0.05532 2.00254 0.98427 33.78s
8 0.10497 0.05771 1.81898 0.98248 34.17s
9 0.09881 0.05159 1.91509 0.98407 33.80s
10 0.09264 0.04958 1.86864 0.98526 33.40s

正如你看到的，最后一次的精度可以达到0.98526，是这10个单元训练中的一个相当不错的性能。

预测和混淆矩阵

现在，我们使用这个模型来预测整个测试集：
preds = net1.predict(X_test)

我们还可以绘制一个混淆矩阵来检查神经网络的分类性能：
cm = confusion_matrix(y_test, preds)
plt.matshow(cm)
plt.title('Confusion matrix')
plt.colorbar()
plt.ylabel('True label')
plt.xlabel('Predicted label')
plt.show()

上面的代码将绘制下面的混淆矩阵：

混淆矩阵

如你所视，对角线上的分类更密集，表明我们的分类器有一个良好的性能。

过滤器的可视化

我们还可以从第一个卷积层中可视化32个过滤器：
visualize.plot_conv_weights(net1.layers_['conv2d1'])

上面的代码将绘制下面的过滤器：

第一层的5x5x32过滤器

如你所视，nolearn的plot_conv_weights函数在我们指定的层中绘制出了所有的过滤器。

Theano层的功能和特征提取