第05讲 自适应线性元件_1.ppt
《第05讲 自适应线性元件_1.ppt》由会员分享,可在线阅读,更多相关《第05讲 自适应线性元件_1.ppt(34页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、第05章 自适应线性元件 信息学院 薛云灿自适应线性元件(Adaptive Linear Element,简称Adaline)由威德罗(Widrow)和霍夫(Hoff)首先提出的 它与感知器的主要不同之处在于其神经元有一个线性激活函数,这允许输出可以是任意值,而不仅仅只是像感知器中那样只能取0或1。它采用的是WH学习法则,也称最小均方差(LMS)规则对权值进行训练自适应线性元件的主要用途是线性逼近一个函数式而进行模式联想。51自适应线性神经元模型和结构 图5.1 自适应线性神经网络的结构 52 WH学习规则 WH学习规则是由威德罗和霍夫提出的用来修正权矢量的学习规则 采用WH学习规则可以用来训
2、练一定网络的权值和偏差使之线性地逼近一个函数式而进行模式联想(Pattern Association)。定义一个线性网络的输出误差函数为:我们的目的是通过调节权矢量,使E(W,B)达到最小值。所以在给定E(W,B)后,利用WH学习规则修正权矢量和偏差矢量,使E(W,B)从误差空间的某一点开始,沿着E(W,B)的斜面向下滑行。根据梯度下降法,权矢量的修正值正比于当前位置上E(W,B)的梯度,对于第i个输出节点有:或表示为:(5.3)为学习速率。在一般的实际运用中,实践表明,通常取一接近1的数,或取值为:(5.5)学习速率的这一取法在神经网络工具箱中用函数maxlinlr.m来实现。(55)式可实
3、现为:WH学习规则的函数为:learnwh.m来实现,加上线性自适应网络输出函数purelin.m,可以写出WH学习规则的计算公式为:Apurelin(W*P);ETA;dW,dBlearnwh(P,E,h);WW十dW;BB十dB;采用WH规则训练自适应线性元件使其能够得以收敛的必要条件是被训练的输入矢量必须是线性独立的,且应适当地选择学习速率以防止产生振荡现象。53 网络训练 自适应线性元件的网络训练过程可以归纳为以下三个步骤:1)表达:计算训练的输出矢量AW*P十B,以及与期望输出之间的误差ETA;2)检查:将网络输出误差的平方和与期望误差相比较,如果其值小于期望误差,或训练已达到事先设
4、定的最大训练次数,则停止训练;否则继续;3)学习:采用WH学习规则计算新的权值和偏差,并返回到1)。采用Matlab进行自适应线性元件网络的训练过程如下:trainwh.m 表达式A=purelin(W*P,B);E=T-A;SSEsumsqr(E);求误差平方和for epoch1:max_epoch 循环训练if SSEerr_goal比较误差epochepoch1;break若满足期望误差要求,结束训练enddW,dB1earnwh(P,E,lr);修正权值WW十dW;BB十dB;Apurelin(W*P,B);网络输出ET-A;SSEsumsqr(E);计算网络误差平方和end 54例
5、题与分析 例51设计自适应线性网络实现从输入矢量到输出矢量的变换关系。其输入矢量和输出矢量分别为:P1.0 -1.2 T0.5 1.0wf1.mP1 -1.2;T0.5 1;R,Qsize(P);S,Qsize(T);W,Brands(S,R);max_epoch20;最大循环次数err_goal0.001;期望误差1r0.4*maxlinlr(P);最佳学习速率disp_freq1;设置显示频率TPdisp_freq max_epoch err_goal lr;设置参数变量TPW,B,epochs,errortrainwh(W,B,P,T,TP)进行线性网络权值训练在随机初始值为:W00.9
6、309;B00.8931的情况下,经过12次循环训练后,网络的输出误差平方和达到0.000949,网络的最终权值为:W-0.2354;B0.7066实际上,对于例5.1这个简单的例题,它存在一个精确解,且可以用解二元一次方程的方式将P和T值分别对应地代入方程TW*P十B得:可解出eT-A0的解为:W-0.2273;B0.7273由此看出,对于特别简单的问题,采用自适应线性网络的训练不一定能够得到足够精确的解。因为当训练误差达到期望误差值后,训练即被终止。对于具有零误差的自适应线性网络,即输入/输出矢量对存在着严格的线性关系,此时的自适应线性网络的设计可以采用工具箱中另外一个名为solvelin
7、.m的函数。W,Bsolvelin(P,T)然后可用simulin.m函数来检测所设计的网络:Asimulin(P,W,B)还可以用sumsqr.m函数来求出误差平方和:SSEsumsqr(T-A)例52现在来考虑一个较大的多神经元网络的模式联想的设计问题。输入矢量和目标矢量分别为:解:由输入矢量和目标输出矢量可得:r3,s4,q4。所以网络的结构如图52所示。这个问题的求解同样可以采用线性方程组求出,即对每一个输出节点写出输入和输出之间的关系等式。实际上要求出这16个方程的解是需要花费一定的时间的,甚至是不太容易的。对于一些实际问题,常常并不需要求出其完美的零误差时的解。也就是说允许存在一定
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第05讲 自适应线性元件_1 05 自适应 线性 元件 _1
限制150内