=第4章 神经网络基本理论.ppt
《=第4章 神经网络基本理论.ppt》由会员分享,可在线阅读,更多相关《=第4章 神经网络基本理论.ppt(60页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、第四章神经网络基本理论,4.1人工神经元模型,人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。,生物神经元模型,生物神经元主要由细胞体、树突和轴突组成,树突和轴突负责传入和传出信息,兴奋性的冲动沿树突抵达细胞体,在细胞膜上累积形成兴奋性电位;相反,抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加,若代数和超过某个阈值,神经元将产生冲动。,4.1人工神经元模型,人工神经元模型,模仿生物神经元产生冲动的过程,可以建立一个典型的人工神经元数学模型,x1,xnT为输入向量,y为输出,f()为激发函数,为阈值。Wi为神经元与其它神经元的连接强度,也称权值。,4.1人工神经元模型,
2、常用的激发函数f的种类:,1)阈值型函数,4.1人工神经元模型,2)饱和型函数,3)双曲函数,4.1人工神经元模型,4)S型函数,5)高斯函数,4.2神经网络的定义和特点,神经网络系统是由大量的神经元,通过广泛地互相连接而形成的复杂网络系统。,定义,特点,(1)非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。(2)自适应性和自组织性。神经元之间的连接具有多样性,各神经元之间的连接强度具有可塑性,网络可以通过学习与训练进行自组织,以适应不同信息处理的要求。(3)并行处理性。网络的各单元可以同时进行类似的处理过程,整个网络的信息处理方式是大规模并行的,可以大大加
3、快对信息处理的速度。(4)分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中,而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用,部分的信息丢失仍可以使完整的信息得到恢复,因而使网络具有容错性和联想记忆功能。(5)便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合,特别适合于用大规模集成电路实现。,4.3感知器模型,感知器(Perceptron)是由美国学者F.Rosenblatt于1957年提出的,它是一个具有单层计算单元的神经网络,并由线性阈值元件组成。,激发函数为阈值型函数,当其输入的加权和大于或等于阈值时,输出为1,否则为0或-1。它
4、的权系W可变,这样它就可以学习。,感知器的结构,感知器的学习算法,感知器的学习是有导师学习。感知器的训练算法的基本原理来源于著名的Hebb学习律。基本思想:逐步地将样本集中的样本输入到网络中,根据输出结果和理想输出之间的差别来调整网络中的权矩阵。,离散单输出感知器训练算法,二值网络:自变量及其函数的值、向量分量的值只取0和1权向量:W=(w1,w2,wn)输入向量:X=(x1,x2,xn)训练样本集:(X,Y)|Y为输入向量X对应的输出,离散单输出感知器训练算法,1.初始化权向量W;2.重复下列过程,直到训练完成:2.1对每个样本(X,Y),重复如下过程:2.1.1输入X;2.1.2计算o=F
5、(XW);2.1.3如果输出不正确,则当o=0时,取W=W+X,当o=1时,取W=W-X,离散多输出感知器训练算法,样本集:(X,Y)|Y为输入向量X对应的输出输入向量:X=(x1,x2,xn)理想输出向量:Y=(y1,y2,ym)激活函数:F权矩阵W=(wij)实际输出向量:O=(o1,o2,om),离散多输出感知器训练算法,1.初始化权矩阵W;2.重复下列过程,直到训练完成:2.1对每个样本(X,Y),重复如下过程:2.1.1输入X;2.1.2计算O=F(XW);2.1.3forj=1tomdo执行如下操作:ifojyjthenifoi=0thenfori=1tonwij=wij+xiel
6、sefori=1tondowij=wij-xi,离散多输出感知器训练算法,算法思想:将单输出感知器的处理逐个地用于多输出感知器输出层的每一个神经元的处理。第1步,权矩阵的初始化:一系列小伪随机数。,离散多输出感知器训练算法,第2步,循环控制。方法1:循环次数控制法:对样本集执行规定次数的迭代改进分阶段迭代控制:设定一个基本的迭代次数N,每当训练完成N次迭代后,就给出一个中间结果,离散多输出感知器训练算法,方法2:精度控制法:给定一个精度控制参数精度度量:实际输出向量与理想输出向量的对应分量的差的绝对值之和;实际输出向量与理想输出向量的欧氏距离的和;“死循环”:网络无法表示样本所代表的问题;,离
7、散多输出感知器训练算法,方法3:综合控制法:将这两种方法结合起来使用注意:精度参数的设置。根据实际问题选定;初始测试阶段,精度要求低,测试完成后,再给出实际的精度要求。,连续多输出感知器训练算法,用公式wij=wij+(yj-oj)xi取代了算法3-2第2.1.3步中的多个判断yj与oj之间的差别对wij的影响由(yj-oj)xi表现出来好处:不仅使得算法的控制在结构上更容易理解,而且还使得它的适应面更宽,连续多输出感知器训练算法,1用适当的小伪随机数初始化权矩阵W;2.初置精度控制参数,学习率,精度控制变量d=+1;3Whileddo3.1d=0;3.2for每个样本(X,Y)do3.2.1
8、输入X(=(x1,x2,xn));3.2.2求O=F(XW);3.2.3修改权矩阵W:fori=1ton,j=1tomdowij=wij+(yj-oj)xi;3.2.4累积误差forj=1tomdod=d+(yj-oj)2,线性不可分问题,异或(ExclusiveOR)问题,用于求解XOR的单神经元感知器,线性不可分函数,线性不可分函数,R.O.Windner1960年,线性不可分问题的克服,用多个单级网组合在一起,并用其中的一个去综合其它单级网的结果,我们就可以构成一个两级网络,该网络可以被用来在平面上划分出一个封闭或者开放的凸域来一个非凸域可以拆分成多个凸域。按照这一思路,三级网将会更一般
9、一些,我们可以用它去识别出一些非凸域来。解决好隐藏层的联接权的调整问题是非常关键的,4.4神经网络的构成和分类,构成,从Perceptron模型可以看出神经网络通过一组状态方程和一组学习方程加以描述。状态方程描述每个神经元的输入、输出、权值间的函数关系。学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习,从而调整整个神经网络的输入输出关系。,分类,(1)从结构上划分,通常所说的网络结构,主要是指它的联接方式。神经网络从拓扑结构上来说,主要分为层状和网状结构。,4.4神经网络的构成和分类,层状结构:网络由若干层组成,每层中有一定数量的神经元,相邻层中神经元单向联接,一般同层内神经元
10、不能联接。,前向网络:只有前后相邻两层之间神经元相互联接,各神经元之间没有反馈。每个神经元从前一层接收输入,发送输出给下一层。,4.4神经网络的构成和分类,网状结构:网络中任何两个神经元之间都可能双向联接。,反馈网络:从输出层到输入层有反馈,每一个神经元同时接收外来输入和来自其它神经元的反馈输入,其中包括神经元输出信号引回自身输入的自环反馈。,混合型网络:前向网络的同一层神经元之间有互联的网络。,4.4神经网络的构成和分类,(2)从激发函数的类型上划分,高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等,(3)从网络的学习方式上划分,有导师学习神经网络为神经网络提供样本数据,对网络
11、进行训练,使网络的输入输出关系逼近样本数据的输入输出关系。无导师学习神经网络不为神经网络提供样本数据,学习过程中网络自动将输入数据的特征提取出来。,(4)从学习算法上来划分:,基于BP算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络、基于遗传算法的网络。,4.4多层前向BP神经网络,最早由werbos在1974年提出的,1985年由Rumelhart再次进行发展。,多层前向神经网络的结构,多层前向神经网络由输入层、隐层(不少于1层)、输出层组成,信号沿输入输出的方向逐层传递。,4.4多层前向BP神经网络,沿信息的传播方向,给出网络的状态方程,用Inj(i),Outj(i)表示第i层
12、第j个神经元的输入和输出,则各层的输入输出关系可描述为:,第一层(输入层):将输入引入网络,第二层(隐层),第三层(输出层),4.4多层前向BP神经网络,网络的学习,学习的基本思想是:误差反传算法调整网络的权值,使网络的实际输出尽可能接近期望的输出。,假设有M个样本:,将第k个样本Xk输入网络,得到的网络输出为,定义学习的目标函数为:,4.4多层前向BP神经网络,为使目标函数最小,训练算法是:,令,则,4.4多层前向BP神经网络,学习的步骤:,(3)计算,(4)计算,如果样本数少,则学习知识不够;如果样本多,则需计算更多的dJk/dw,,训练时间长。可采用随机学习法每次以样本中随机选取几个样本
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- =第4章 神经网络基本理论 神经网络 基本理论
限制150内