BP神经网络的基本原理_一看就懂.pdf
《BP神经网络的基本原理_一看就懂.pdf》由会员分享,可在线阅读,更多相关《BP神经网络的基本原理_一看就懂.pdf(14页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、 .下载可编辑.5.4 BP 神经网络的基本原理 BP(Back Propagation)网络是 1986 年由 Rinehart 和McClelland 为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP 网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。BP 神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer)(如图 5.2 所示)。5.4.1 BP
2、 神经元 图 5.3 给出了第 j 个基本 BP 神经元(节点),它只模仿了生物神经元所具有的三个最基本也是最重要的功能:加权、求和与转移。其中 x1、x2xixn分别代表来自神经元 1、2in的输入;wj1、wj2wjiwjn则分别表示神经元 1、2in 与第 j 个神经元的连接强度,即权值;bj为阈值;f()为传递函数;yj为第 j 个神经元的输出。第 j 个神经元的净输入值为:(5.12)其中:.下载可编辑.若视,即令及包括及,则 于是节点 j 的净输入可表示为:(5.13)净输入通过传递函数(Transfer Function)f()后,便得到第 j 个神经元的输出:(5.14)式中
3、f()是单调上升函数,而且必须是有界函数,因为细胞传递的信号不可能无限增加,必有一最大值。5.4.2 BP 网络 BP 算法由数据流的前向计算(正向传播)和误差信号的反向传播两个过程构成。正向传播时,传播方向为输入层隐层输出层,每层神经元的状态只影响下一层神经元。若在输出层得不到期望的输出,则转向误差信号的反向传播流程。通过这两个过程的交替进行,在权向量空间执行误差函数梯度下降策略,动态迭代搜索一组权向量,使网络误差函数达到最小值,从而完成信息提取和记忆过程。5.4.2.1 正向传播 .下载可编辑.设 BP 网络的输入层有 n 个节点,隐层有 q 个节点,输出层有 m 个节点,输入层与隐层之间
4、的权值为,隐层与输出层之间的权值为,如图 5.4 所示。隐层的传递函数为 f1(),输出层的传递函数为 f2(),则隐层节点的输出为(将阈值写入求和项中):k=1,2,q (5.15)输出层节点的输出为:j=1,2,m (5.16)至此 B-P 网络就完成了 n 维空间向量对 m 维空间的近似映射。5.4.2.2 反向传播 1)定义误差函数 输入个学习样本,用来表示。第个样本输入到网络后得到输出(j=1,2,m)。采用平方型误差函数,于是得到第p个样本的误差Ep:(5.17)式中:为期望输出。对于个样本,全局误差为:.下载可编辑.(5.18)2)输出层权值的变化 采用累计误差 BP 算法调整,
5、使全局误差变小,即 (5.19)式中:学习率 定义误差信号为:(5.20)其中第一项:(5.21)第二项:(5.22)是输出层传递函数的偏微分。于是:(5.23)由链定理得:.下载可编辑.(5.24)于是输出层各神经元的权值调整公式为:(5.25)3)隐层权值的变化 (5.26)定义误差信号为:(5.27)其中第一项:(5.28)依链定理有:(5.29)第二项:(5.30)是隐层传递函数的偏微分。于是:.下载可编辑.(5.31)由链定理得:(5.32)从而得到隐层各神经元的权值调整公式为:(5.33)5.4.3 BP 算法的改进 BP 算法理论具有依据可靠、推导过程严谨、精度较高、通用性较好等
6、优点,但标准 BP 算法存在以下缺点:收敛速度缓慢;容易陷入局部极小值;难以确定隐层数和隐层节点个数。在实际应用中,BP 算法很难胜任,因此出现了很多改进算法。1)利用动量法改进 BP 算法 标准 BP 算法实质上是一种简单的最速下降静态寻优方法,在修正 W(K)时,只按照第 K 步的负梯度方向进行修正,而没有考虑到以前积累的经验,即以前时刻的梯度方向,从而常常使学习过程发生振荡,收敛缓慢。动量法权值调整算法的具体做法是:将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量上,作为本次的实际权值调整量,即:(5.34)其中:为动量系数,通常 00.9;学习率,范围在 0.00110
7、之间。这种方法所加的动量因子实际上相当于阻尼项,它减小了学习过程中的振荡趋势,从而改善了收敛性。动量法降低了网络对于误差曲面局部细节的敏感性,有效的抑制了网络陷入局部极小。2)自适应调整学习速率 .下载可编辑.标准 BP 算法收敛速度缓慢的一个重要原因是学习率选择不当,学习率选得太小,收敛太慢;学习率选得太大,则有可能修正过头,导致振荡甚至发散。可采用图 5.5 所示的自适应方法调整学习率。调整的基本指导思想是:在学习收敛的情况下,增大,以缩短学习时间;当偏大致使不能收敛时,要及时减小,直到收敛为止。3)动量-自适应学习速率调整算法 采用动量法时,BP 算法可以找到更优的解;采用自适应学习速率
8、法时,BP 算法可以缩短训练时间。将以上两种方法结合起来,就得到动量-自适应学习速率调整算法。4)L-M 学习规则 L-M(Levenberg-Marquardt)算法比前述几种使用梯度下降法的 BP 算法要快得多,但对于复杂问题,这种方法需要相当大的存储空间。L-M(Levenberg-Marquardt)优化方法的权值调整率选为:(5.35)其中:e误差向量;J网络误差对权值导数的雅可比(Jacobian)矩阵;标量,当很大时上式接近于梯度法,当很小时上式变成了 Gauss-Newton 法,在这种方法中,也是自适应调整的。综合考虑,拟采用 L-M 学习规则和动量法分别作为神经网络的训练函
9、数和学习函数。5.5 BP 神经网络的训练策略及结果 本文借助于 MATLAB 神经网络工具箱来实现多层前馈 BP 网络(Multi-layer feed-forward backpropagation network)的颜色空间转换,免去了许多编写计算机程序的烦恼。神经网络的实际输出值与输入值以及各权值和阈值有关,为了使实际输出值与网络期望输出值相吻合,可用含有一定数量学习样本的样本集和相应期望输出值的集合来训练网络。训练时仍然使用本章 5.2 节中所述的实测样本数据。.下载可编辑.另外,目前尚未找到较好的网络构造方法。确定神经网络的结构和权系数来描述给定的映射或逼近一个未知的映射,只能通过
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- BP 神经网络 基本原理 一看
限制150内