人工神经网络复习计划资料.doc
《人工神经网络复习计划资料.doc》由会员分享,可在线阅读,更多相关《人工神经网络复习计划资料.doc(27页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、人工神经网络复习资料 第一次课第一次课 1.人工神经元模型2.3.Forward Neural Networks Model 前向神经网络模型 Feedback Neural Networks Model 反馈神经网络模型 Neural Networks Control System 神经网络控制系统 Integrated Neural Networks 集成神经网络4.5.6. When no node 节点 output is an input to a node in the same layer or preceding layer 前层, the network is a feedf
2、orward network(前向网络). 当输出被引导为输入到相同的或之前的层节点时,网络是反馈网络 反馈网络,封闭的循环称为复发性网络(递归网络)1x2x3xnx1y2y3yny7.8.9. 神经网络的用途是 1 分类 2 模式识别、特征提取、图像匹配 3 降噪 4 预测4.感知器(前向网络)5.感知器是一个具有单层计算神经元的神经网络,并由线性阈值元件组成,是最简单的前向 网络。感知器模型是美国学者罗森勃拉特(Rosenblatt)为研究大脑的存储、学习和认知过 程而提出的一类具有自学习能力的神经网络模型, Rosenblatt 提出的感知器模型是一个只 有单层计算单元的前向神经网络,称
3、为单层感知器。它主要用于模式分类,单层的感知器 网络结构如下图所示。5.感知器算法 1)随机地给定一组连接权 2)输入一组样本和期望的输出 3)计算感知器实际输出 4)修正权值 5)选取另外一组样本,重复上述 2)4)的过程,直到权值对一切样本均稳定不变为止, 学习过程结束。 5. Perceptron Learning Rule该学习算法收敛的充分必要条件是输入样本是线性可分的。同时的选取也是十分关键的。 学习率选取太小,学习太慢;学习率太大,学习过程可能出现修正过头的情况,从而产生 振荡。 5.感知器训练规则及计算方法的掌握5.感知器网络应用 利用感知器神经网络架构解决一个简单的模式识别问
4、题。 使用感知器神经网络架构来表示和门 1)分类:训练网络预测心脏病新病人 2)逻辑运算:单层感知器可以表示和,或者,不, 等等,但不是 XOR3) 6. MATLAB functions for perceptron networks5. 应用实例: 设计一单层单输出感知器神经网络,进行二值化图像卡片上数字的奇偶分类 5. 第二次课第二次课1 Key wordsbiological neuron Artificial Neural neuron output neurons interconnection weighted bias levels activation function fe
5、edforward neural network hidden layers output layer input-output mapping Association memory Pattern Recognition system identification perceptron model Learning Processes learning algorithm training examples input vector Target output desired response supervised learning Unsupervised Learning learnin
6、g tasks rate of learning生物神经元 人工神经元神经元 输出神经元 互联加权 偏见水平 激活功能 前馈神经网络 隐藏的图层 输出层 输入输出映射 关联记忆 模式识别 系统识别 感知器模型 学习过程 学习算法 训练实例 输入矢量 目标输出 期望的响应 监督学习无监督学习 学习任务 学习的速度 2. 3.3.3.3.4 算法实现步骤: 第一步:初始化 第二步:输入一个样本,计算连接权值的调整量 第三步:调整连接权值 第四步:计算均方误差 56线性神经网络的应用 线性神经网络在模式识别、信号滤波和预测、函数近似等方面有广泛的用 途,至今仍然广泛应用于各种实际系统中,特别是在自适
7、应滤波方面,用途更为广 泛。 1 以自适应线性网络实现噪声对消 2 胎儿心率的检测 3 电话中的回音对消 第三次课第三次课 1 BP 网络具有一层或多层隐含层,除了在多层网络上与前面已介绍过的感知器模型有不同外, 其主要差别也表现在激活函数上。感知器是二值型的函数。BP 网络的激活函数必须是处处可微的,所以它就不能采用二值型的阀值函数0,1或符号 函数-1,1,BP 网络经常使用的是 S 型的对数或正切激活函数和线性函数。 用了“BP 算法”进行训练的“多层感知器模型3. 3. 3. 3. 2.BP 网络主要用于 (1)Functions approximation:BP can be app
8、lied to learn non-linear functions (2)pattern recognition 模式识别3. 第四次课第四次课 1.2. 径向基函数(RBF-Radial Basis Function)神经网络是由 J.Moody 和 C.Darken 在 80 年代末提出的一种神经网络,它是具有单隐层的三层前馈网络。3.3.3.5.6.7. Learning Algorithm如何确定 RBF 网络隐层节点的中心及基宽度参数是一个困难的问题 8. 学习算法需要求解的参数 1)径向基函数的中心 2)方差 3)隐含层到输出层的权值 学习方法分类(按 RBF 中心选取方法的不同
9、分) 1)随机选取中心法 2)自组织选取中心法 3)有监督选取中心法 4)正交最小二乘法等. 自组织选取中心法:第一步,自组织学习阶段 无导师学习过程,求解隐含层基函数的中心 与方差;第二步,有导师学习阶段 求解隐含层到输出层之间的权值。 9.无导师学习阶段,对所有样本的输入进行聚类,求得各隐层节点的 RBF 的中心 ci。如用 k 均值聚类算法,调整中心,算法步骤为: (1)给定各隐节点的初始中心; (2)计算距离(欧氏距离)并求出最小距离的节点 (3)调整中心(4)计算节点的距离 (5)重新调整聚类中心(6).求解方差 有导师学习阶段:计算隐含层和输出层之间的权值 10,。Applicat
10、ions of RBF network Function Approximation: Classification Pattern recognition, information process, image process system modeling Failure diagnosisRBF 神经网络结构简单、训练简洁且学习收敛速度快,因此被广泛引用于时间序列分析、 模式识别、非线性控制和图像处理等领域。11.12.13.(1) 从网络结构上看。 BP 神经网络实行权连接,而 RBF 神经网络输入层到隐层单 元之间为直接连接,隐层到输出层实行权连接。BP 神经网络隐层单元的转移函数一
11、般选择 非线性函数(如反正切函数) ,RBF 神经网络隐层单元的转移函数是关于中心对称的 RBF(如高斯函数) 。BP 神经网络是三层或三层以上的静态前馈神经网络,其隐层和隐层节 点数不容易确定,没有普遍适用的规律可循,一旦网络的结构确定下来,在训练阶段网络 结构将不再变化;RBF 神经网络是三层静态前馈神经网络,隐层单元数也就是网络的结构 可以根据研究的具体问题,在训练阶段自适应地调整,这样网络的适用性就更好了. (2) 从训练算法上看。 BP 神经网络需要确定的参数是连接权值和阈值,主要的训练 算法为 BP 算法和改进的 BP 算法。但 BP 算法易限于局部极小值,学习过程收敛速度慢, 隐
12、层和隐层节点数难以确定;RBF 神经网络的训练算法支持在线和离线训练,可以动态确 定网络结构和隐层单元的数据中心和扩展常数,学习速度快,比 BP 算法表现出更好的性 能。 总之,RBF 神经网络可以根据具体问题确定相应的网络拓扑结构,具有自学习、自组织、 自适应功能,学习速度快,可以进行大范围的数据融合,可以并行高速地处理数据。RBF神经网络的优良特性使得其显示出比 BP 神经网络更强的生命力,正在越来越多的领域内 替代 BP 神经网络。 目前,RBF 神经网络已经成功地用于非线性函数、时间序列分析、数据分类、模式识别、 信息处理、图像处理、系统建模、控制和故障诊断等. 第六次课第六次课 1.
13、2. 竞争学习的概念与原理 竞争学习是自组织网络中最常用的一种学习策略,首先说明与之相关的几个基本概念。 1 )模式、分类、聚类与相似性 模式:一般当网络涉及识别、分类问题时,常用输入模式(而不称输入样本) ; 分类:将待识别的输入模式划分为各自的模式类中去;聚类:无导师指导的分类称为聚类, 聚类的目的是将相似的模式样本划归一类;相似性:输入模式的聚类依据。 2) 相似性测量神经网络的输入模式用向量表示,比较不同模式的相似性可转化为比较两个向量的 距离,因而可用模式向量间的距离作为聚类判据。 模式识别中常用到的两种聚类判据是欧 式最小距离法和余弦法。 3. 自组织竞争网络机理: 采用无教师学习
14、方式,无须期望输出,只是根据数据样本进行学习,并调整自身的权重以 达到学习目的。自组织神经网络的学习规则大都采用竞争型的学习规则。 竞争型神经网络的基本思想是网络竞争层的各神经元通过竞争来获取对输入模式的响应机 会,最后仅有一个神经元成为胜利者,并将与获胜神经元有关的各连接权值向着更有利于 其竞争的方向调整。用途:模式分类和模式识别。 4. 竞争学习规则Winner-Take-All网络的输出神经元之间相互竞争以求被激活,结果在每一时刻只有一个输出神经元被 激活。这个被激活的神经元称为竞争获胜神经元,而其它神经元的状态被抑制,故称为 Winner Take All。 5. 竞争学习规则Winn
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工 神经网络 复习计划 资料
限制150内