4=第4章 神经网络基本理论.ppt
《4=第4章 神经网络基本理论.ppt》由会员分享,可在线阅读,更多相关《4=第4章 神经网络基本理论.ppt(60页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、第四章第四章 神经网络基本理论神经网络基本理论Beijing University of Posts and Telecommunications.24.1 人工神经元模型人工神经元模型 人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。n生物神经元模型生物神经元模型生物神经元主要由细胞体、树突和轴突组成,树突和轴突负责传入和传出生物神经元主要由细胞体、树突和轴突组成,树突和轴突负责传入和传出信息,兴奋性的冲动沿树突抵达细胞体,在细胞膜上累积形成兴奋性电位;信息,兴奋性的冲动沿树突抵达细胞体,在细胞膜上累积形成兴
2、奋性电位;相反,抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加,若相反,抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加,若代数和超过某个阈值,神经元将产生冲动。代数和超过某个阈值,神经元将产生冲动。Beijing University of Posts and Telecommunications.34.1 人工神经元模型人工神经元模型n人工神经元模型人工神经元模型模仿生物神经元产生冲动的过程,可以建立一个典型的人工神经元数学模型模仿生物神经元产生冲动的过程,可以建立一个典型的人工神经元数学模型x1,xnT为输入向量,为输入向量,y为输出,为输出,f()为激发函数,为激发函数,
3、为阈值。为阈值。Wi为神经元与其为神经元与其它神经元的连接强度,也称权值。它神经元的连接强度,也称权值。Beijing University of Posts and Telecommunications.44.1 人工神经元模型人工神经元模型常用的激发函数常用的激发函数f 的种类的种类:1)阈值型函数)阈值型函数Beijing University of Posts and Telecommunications.54.1 人工神经元模型人工神经元模型2)饱和型函数)饱和型函数3)双曲函数)双曲函数Beijing University of Posts and Telecommunicatio
4、ns.64.1 人工神经元模型人工神经元模型4)S型函数型函数5)高斯函数)高斯函数Beijing University of Posts and Telecommunications.74.2 神经网络的定义和特点神经网络的定义和特点 神经网络系统是由大量的神经元,通过广泛地互相连接而形成的复杂网络系神经网络系统是由大量的神经元,通过广泛地互相连接而形成的复杂网络系统。统。n 定义定义n 特点特点(1)非线性映射逼近能力。非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。任意精度加以逼近。(2)自适应性和自组织性
5、自适应性和自组织性。神经元之间的连接具有多样性,各神经元之间的连接神经元之间的连接具有多样性,各神经元之间的连接强度具有可塑性,网络可以通过学习与训练进行自组织,以适应不同信息处理的要求。强度具有可塑性,网络可以通过学习与训练进行自组织,以适应不同信息处理的要求。(3)并行处理性。并行处理性。网络的各单元可以同时进行类似的处理过程,整个网络的信息处网络的各单元可以同时进行类似的处理过程,整个网络的信息处理方式是大规模并行的,可以大大加快对信息处理的速度。理方式是大规模并行的,可以大大加快对信息处理的速度。(4)分布存储和容错性。分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中,
6、而信息在神经网络内的存储按内容分布于许多神经元中,而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用,且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用,部分的信息丢失仍可以使完整的信息得到恢复,因而使网络具有容错性和联想记忆功部分的信息丢失仍可以使完整的信息得到恢复,因而使网络具有容错性和联想记忆功能。能。(5)便于集成实现和计算模拟。便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合,神经网络在结构上是相同神经元的大规模组合,特别适合于用大规模集成电路实现。特别适合于用大规模集成电路实现。Beijing University of
7、 Posts and Telecommunications.84.3 感知器模型感知器模型感知器感知器(Perceptron)是由美国学者是由美国学者F.Rosenblatt于于1957年提出的,它是一个具有年提出的,它是一个具有单层计算单元的神经网络,并由线性阈值元件组成。单层计算单元的神经网络,并由线性阈值元件组成。l 激发函数为阈值型函数,当其输入的加权和大于或等于阈值时,输出为激发函数为阈值型函数,当其输入的加权和大于或等于阈值时,输出为1,否,否则为则为0或或-1。l它的权系它的权系W可变,这样它就可以学习。可变,这样它就可以学习。n感知器的结构感知器的结构Beijing Unive
8、rsity of Posts and Telecommunications.9 感知器的学习算法感知器的学习算法 v 感知器的学习是有导师学习。感知器的学习是有导师学习。v 感知器的训练算法的基本原理来源于著名的感知器的训练算法的基本原理来源于著名的Hebb学习律。学习律。v 基本思想:逐步地将样本集中的样本输入到网基本思想:逐步地将样本集中的样本输入到网络中络中,根据输出结果和理想输出之间的差别来调整根据输出结果和理想输出之间的差别来调整网络中的权矩阵。网络中的权矩阵。Beijing University of Posts and Telecommunications.10离散单输出感知器训
9、练算法离散单输出感知器训练算法 v二二值值网网络络:自自变变量量及及其其函函数数的的值值、向向量量分分量量的的值值只取只取0和和1v权向量权向量:W=(w1,w2,wn)v输入向量:输入向量:X=(x1,x2,xn)v训练样本集:训练样本集:(X,Y)|Y为为输入向量输入向量X对应的输出对应的输出 Beijing University of Posts and Telecommunications.11离散单输出感知器训练算法离散单输出感知器训练算法 1.初始化权向量初始化权向量W;2.重复下列过程,直到训练完成:重复下列过程,直到训练完成:2.1对每个样本(对每个样本(X,Y),),重复如下
10、过程:重复如下过程:2.1.1输入输入X;2.1.2计算计算o=F(XW););2.1.3如果输出不正确,则如果输出不正确,则当当o=0时,取时,取W=W+X,当当o=1时,取时,取W=W-XBeijing University of Posts and Telecommunications.12离散多输出感知器训练算法离散多输出感知器训练算法 v样本集:样本集:(X,Y)|Y为为输入向量输入向量X对应的输出对应的输出v输入向量:输入向量:X=(x1,x2,xn)v理想输出向量:理想输出向量:Y=(y1,y2,ym)v激活函数:激活函数:F v权矩阵权矩阵W=(wij)v实际输出向量实际输出向
11、量:O=(o1,o2,om)o1多输出感知器多输出感知器x1x2o2omxn输入层输入层输出层输出层Beijing University of Posts and Telecommunications.13离散多输出感知器训练算法 1.初始化权矩阵初始化权矩阵W;2.重复下列过程,直到训练完成:重复下列过程,直到训练完成:2.1对每个样本(对每个样本(X,Y),),重复如下过程:重复如下过程:2.1.1输入输入X;2.1.2计算计算O=F(XW););2.1.3forj=1tomdo执行如下操作:执行如下操作:ifojyjthenifoi=0thenfori=1tonwij=wij+xiels
12、efori=1tondowij=wij-xiBeijing University of Posts and Telecommunications.14离散多输出感知器训练算法离散多输出感知器训练算法v算算法法思思想想:将将单单输输出出感感知知器器的的处处理理逐逐个个地地用用于于多多输出感知器输出层的每一个神经元的处理。输出感知器输出层的每一个神经元的处理。v第第1步,步,权矩阵的初始化权矩阵的初始化:一系列小伪随机数。:一系列小伪随机数。Beijing University of Posts and Telecommunications.15离散多输出感知器训练算法v第第2步,步,循环控制。循
13、环控制。v方方法法1:循循环环次次数数控控制制法法:对对样样本本集集执执行行规规定定次次数数的迭代的迭代v改改进进分分阶阶段段迭迭代代控控制制:设设定定一一个个基基本本的的迭迭代代次次数数N,每每当当训训练练完完成成N次次迭迭代代后后,就就给给出出一一个个中中间结果间结果Beijing University of Posts and Telecommunications.16离散多输出感知器训练算法v方法方法2:精度控制法:精度控制法:给定一个精度控制参数给定一个精度控制参数精精度度度度量量:实实际际输输出出向向量量与与理理想想输输出出向向量的对应分量的差的绝对值之和;量的对应分量的差的绝对值
14、之和;实实际际输输出出向向量量与与理理想想输输出出向向量量的的欧欧氏氏距距离的和离的和;“死死循循环环”:网网络络无无法法表表示示样样本本所所代代表表的问题的问题;Beijing University of Posts and Telecommunications.17离散多输出感知器训练算法离散多输出感知器训练算法v方法方法3:综合控制法:综合控制法:将这两种方法结合起来使用将这两种方法结合起来使用 v注意:精度参数的设置。根据实际问题选定;初注意:精度参数的设置。根据实际问题选定;初始测试阶段,精度要求低,测试完成后,再给出始测试阶段,精度要求低,测试完成后,再给出实际的精度要求。实际的精
15、度要求。Beijing University of Posts and Telecommunications.18连续多输出感知器训练算法连续多输出感知器训练算法 v用公式用公式wij=wij+(yj-oj)xi取代了算法取代了算法3-2第第2.1.3步中的多个判断步中的多个判断vyj与与oj之间的差别对之间的差别对wij的影响由的影响由(yj-oj)xi表现表现出来出来v好处:不仅使得算法的控制在结构上更容易理解,好处:不仅使得算法的控制在结构上更容易理解,而且还使得它的适应面更宽而且还使得它的适应面更宽 Beijing University of Posts and Telecommuni
16、cations.19连续多输出感知器训练算法连续多输出感知器训练算法 1用适当的小伪随机数初始化权矩阵用适当的小伪随机数初始化权矩阵W;2.初置精度控制参数初置精度控制参数,学习率学习率,精度控制变量精度控制变量d=+1;3Whileddo3.1d=0;3.2for每个样本(每个样本(X,Y)do3.2.1输入输入X(=(x1,x2,xn)););3.2.2求求O=F(XW););3.2.3修改权矩阵修改权矩阵W:fori=1ton,j=1tomdowij=wij+(yj-oj)xi;3.2.4累积误差累积误差forj=1tomdod=d+(yj-oj)2Beijing University
17、of Posts and Telecommunications.20线性不可分问题线性不可分问题 异或异或(ExclusiveOR)问题问题 g(x,y)y01x001110Beijing University of Posts and Telecommunications.21用于求解用于求解XOR的单神经元感知器的单神经元感知器 xyo单神经元感知器单神经元感知器的图像的图像ax+by=1yx1(0,0)(1,1)Beijing University of Posts and Telecommunications.22线性不可分函数线性不可分函数变量变量函数及其值函数及其值xyf1f2f3
18、f4f5f6f7f8f9f10f11f12f13f14f15f16000000000011111111010000111100001111100011001100110011110101010101010101Beijing University of Posts and Telecommunications.23线性不可分函数线性不可分函数vR.O.Windner 1960年 自变量个数自变量个数函数的个数函数的个数线性可分函数的个数线性可分函数的个数144216143256104465,536188254.3*10994,57261.8*10195,028,134Beijing Unive
19、rsity of Posts and Telecommunications.24线性不可分问题的克服线性不可分问题的克服 v用多个单级网组合在一起,并用其中的一个去综用多个单级网组合在一起,并用其中的一个去综合其它单级网的结果,我们就可以构成一个两级合其它单级网的结果,我们就可以构成一个两级网络,该网络可以被用来在平面上划分出一个封网络,该网络可以被用来在平面上划分出一个封闭或者开放的凸域来闭或者开放的凸域来v一个非凸域可以拆分成多个凸域。按照这一思路,一个非凸域可以拆分成多个凸域。按照这一思路,三级网将会更一般一些,我们可以用它去识别出三级网将会更一般一些,我们可以用它去识别出一些非凸域来。
20、一些非凸域来。v解决好隐藏层的联接权的调整问题是非常关键的解决好隐藏层的联接权的调整问题是非常关键的 Beijing University of Posts and Telecommunications.254.4 神经网络的构成和分类神经网络的构成和分类n 构成构成 l 从从Perceptron模型可以看出神经网络通过一组状态方程和一组学习方程加模型可以看出神经网络通过一组状态方程和一组学习方程加以描述。以描述。l 状态方程描述每个神经元的输入、输出、权值间的函数关系。状态方程描述每个神经元的输入、输出、权值间的函数关系。l 学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习,
21、学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习,从而调整整个神经网络的输入输出关系。从而调整整个神经网络的输入输出关系。n分类分类(1)从结构上划分)从结构上划分 通常所说的网络结构,主要是指它的联接方式。神经网络从拓扑结构通常所说的网络结构,主要是指它的联接方式。神经网络从拓扑结构上来说,主要分为层状和网状结构。上来说,主要分为层状和网状结构。Beijing University of Posts and Telecommunications.264.4 神经网络的构成和分类神经网络的构成和分类层状结构层状结构:网络由若干层组成,每层中有一定数量的神经元,相邻层中神经元网络
22、由若干层组成,每层中有一定数量的神经元,相邻层中神经元单向联接,一般同层内神经元不能联接。单向联接,一般同层内神经元不能联接。前向网络:只有前后相邻两层之间神经元相互联接,各神经元之间没有反馈。每前向网络:只有前后相邻两层之间神经元相互联接,各神经元之间没有反馈。每个神经元从前一层接收输入,发送输出给下一层。个神经元从前一层接收输入,发送输出给下一层。Beijing University of Posts and Telecommunications.274.4 神经网络的构成和分类神经网络的构成和分类网状结构:网络中任何两个神经元之间都可能双向联接。网状结构:网络中任何两个神经元之间都可能双
23、向联接。反馈网络:从输出层到输入层有反馈,反馈网络:从输出层到输入层有反馈,每一个神经元同时接收外来输入和来自其每一个神经元同时接收外来输入和来自其它神经元的反馈输入,其中包括神经元输它神经元的反馈输入,其中包括神经元输出信号引回自身输入的自环反馈。出信号引回自身输入的自环反馈。混合型网络:前向网络的同一层神经混合型网络:前向网络的同一层神经元之间有互联的网络。元之间有互联的网络。Beijing University of Posts and Telecommunications.284.4 神经网络的构成和分类神经网络的构成和分类(2)从激发函数的类型上划分从激发函数的类型上划分 高斯基函数
24、神经网络、小波基函数神经网络、样条基函数神经网络等等高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等(3)从网络的学习方式上划分从网络的学习方式上划分有导师学习神经网络有导师学习神经网络为神经网络提供样本数据,对网络进行训练,使网络的输入输出关系逼为神经网络提供样本数据,对网络进行训练,使网络的输入输出关系逼近样本数据的输入输出关系。近样本数据的输入输出关系。无导师学习神经网络无导师学习神经网络不为神经网络提供样本数据,学习过程中网络自动将输入数据的特征提不为神经网络提供样本数据,学习过程中网络自动将输入数据的特征提取出来。取出来。(4)从学习算法上来划分:)从学习算法上来划分:
25、基于基于BP算法的网络、基于算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络、算法的网络、基于竞争式学习算法的网络、基于遗传算法的网络。基于遗传算法的网络。Beijing University of Posts and Telecommunications.294.4 多层前向多层前向BP神经网络神经网络 最早由最早由werbos在在1974年提出的,年提出的,1985年由年由Rumelhart再次进行发展。再次进行发展。n 多层前向神经网络的结构多层前向神经网络的结构多层前向神经网络由输入层、隐层(不少于多层前向神经网络由输入层、隐层(不少于1层)、输出层组成,信号沿输层)、输出
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 4=第4章 神经网络基本理论 神经网络 基本理论
限制150内