网络学习算法 - 基于优化神经网络的FIR滤波器的设计方案

网络学习算法方面，也可以采用类似BP网络的学习算法。

　　首先定义权值矩阵：

　　

 

　　设置性能指标：

为训练样本数。

 

　　于是权值修正的公式为：

　　

 

　　式中：α为学习速率。

　　迭代的终止条件可设为性能指标J满足一定条件，而关于学习速率α的选取会直接影响到神经网络的稳定性。目前，已经有人提出了其适当的选取范围，例如罗玉雄等人已经证明，当满足0<α<(2/|| C ||2)时(这里||·||2表示的是欧氏范数的平方)，神经网络是稳定的;曾喆昭等人也提出并证明了当满足0<α<(4/N)时，神经网络是稳定的。

　　3 模拟退火算法

　　由于以上的网络学习算法从本质上来说，还是一种BP算法，所以不可避免地会存在BP算法的缺陷，初始值的选取会影响最终结果，且容易陷入局部极小值。

　　模拟退火算法与初始值无关，算法求得的解与初始解状态(是算法迭代的起点)无关;模拟退火算法具有渐近收敛性，在理论上已得到严格证明，当初温充分高，降温足够慢，每一温度下抽样足够长，最终温度趋于零时，算法最终以概率1收敛到全局最优解。模拟退火算法通过概率判断来接受新状态是算法在局部极小解处有机会跳出并最终趋于全局最优的根本原因。于是将模拟退火算法加到前面的算法中去，就可以很好地弥补上述算法的不足。

　　模拟退火算法的步骤如下：

　　(1)由一个产生函数从当前解S产生一个位于解空间的新解S'。

　　(2)计算与新解所对应的目标函数差。这里以最小阻带衰减为评价函数C(S)，这个函数可以由所得解S轻易地求出，于是目标函数差△t=C(S')-C(S);

　　(3)判断新解是否被接受，其依据是一个接受准则，最常用的接受准则是Metropolis准则。若△t≥0，则接受S'作为新的当前解S;否则，以概率exp(-△t/T)接受S'作为新的当前解S。

　　(4)当新解被确定接受时，用新解代替当前解，同时修正评价函数。此时，当前解实现了一次迭代，可在此基础上开始下一轮试验;当新解被判定为舍弃时，则在原当前解的基础上继续下一轮试验。

　　将模拟退火融入原算法，其实主要是用原算法来实现模拟退火中第(1)步的产生解S，于是可得到总的算法：

　　(1)初始化，初始温度T(充分大)，初始解状态S(是算法迭代的起点)，每个T值的迭代次数L，初始权值W，性能指标J，学习速率α，并且设定目标向量(理想幅频响应Hg(ωk));

　　(2)对k=1，2，…，L做第(3)～(8)步骤;

　　(3)计算误差E(k)，使用权值修正公式：W=W+αE(k)C(Ωk)修正权值;

　　(4)满足性能指标J转步骤(5)，否则转步骤(3);

　　(5)由步骤(4)产生的W得出新解S';

　　(6)以滤波器的最小阻带衰减为评价函数，计算△t，其中△t=C(S)-C(S);

　　(7)若△t>0，则接受S'作为新的当前解，否则以概率exp(-△t/T)接受S'作为新的当前解;

　　(8)如果满足终止条件，则输出当前解作为最优解，终止条件通常取为连续若干个新解都没有被接受;

　　(9)减小T，转步骤(2)。当T→0时，终止算法。