神经网络学习之M-P模型

M-P模型的来源

所谓M-P模型，其实是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型。
下图是生物神经元结构。

 

大家可以查一查一些生物方面的书籍，了解一下这个神经元是如何工作的。我们可以概括出生物神经网络的假定特点：
1. 每个神经元都是一个多输入单输出的信息处理单元；
2. 神经元输入分兴奋性输入和抑制性输入两种类型；
3. 神经元具有空间整合特性和阈值特性；
4. 神经元输入与输出间有固定的时滞，主要取决于突触延搁

M-P模型

按照生物神经元，我们建立M-P模型。为了使得建模更加简单，以便于进行形式化表达，我们忽略时间整合作用、不应期等复杂因素，并把神经元的突触时延和强度当成常数。下图就是一个M-P模型的示意图。

 

那么接下来就好类比理解了。我们将这个模型和生物神经元的特性列表来比较：

 

结合M-P模型示意图来看，对于某一个神经元j （注意别混淆成变量了，在这里j 只是起到标识某个神经元的作用），它可能接受同时接受了许多个输入信号，用 χi 表示。

由于生物神经元具有不同的突触性质和突触强度，所以对神经元的影响不同，我们用权值 ωij 来表示，其正负模拟了生物神经元中突出的兴奋和抑制，其大小则代表了突出的不同连接强度。

θj表示为一个阈值（threshold），或称为偏置（bias）。

由于累加性，我们对全部输入信号进行累加整合，相当于生物神经元中的膜电位（水的变化总量），其值就为：

 

神经元激活与否（外接专用水管流出与否）取决于某一阈值电平（水位高度），即只有当其输入总和超过阈值θj 时，神经元才被激活而发放脉冲，否则神经元不会发生输出信号。整个过程可以用下面这个函数来表示：

 

yj表示神经元j的输出，函数f称为激活函数 ( Activation Function )或转移函数 ( Transfer Function ) ，net'j(t)称为净激活(net activation)。
若将阈值看成是神经元j的一个输入x0的权重w0j，则上面的式子可以简化为：

 

若用X表示输入向量，用W表示权重向量，即：

则神经元的输出可以表示为向量相乘的形式：

若神经元的净激活net为正，称该神经元处于激活状态或兴奋状态(fire)，若净激活net为负，则称神经元处于抑制状态。
由此我们可以得到总结出M-P模型的6个特点：
1. 每个神经元都是一个多输入单输出的信息处理单元；
2. 神经元输入分兴奋性输入和抑制性输入两种类型；
3. 神经元具有空间整合特性和阈值特性；
4. 神经元输入与输出间有固定的时滞，主要取决于突触延搁；
5. 忽略时间整合作用和不应期；
6. 神经元本身是非时变的，即其突触时延和突触强度均为常数。

前面4点和生物神经元保持一致。

结合公式来看，输入χij的下标 i=1,2,...,n，输出 yj 的下标j 体现了第1个特点“多输入单输出”；

权重值 ωij 的正负体现了第2个特点中“突触的兴奋与抑制”；

θj 代表第3个特点 中的阈值，当 net'j(t)−Tj>0 时，神经元才能被激活；

为了简单起见，对膜电位的计算net'j(t) 并没有考虑时间整合，只考虑了空间整合，即只对每条神经末梢传来的信号根据权重进行累加整合，而没有考虑输入输出间的突触时延,体现了第5个特点。

这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。

常用激活函数