4=第4章 神经网络基本理论.ppt

第四章第四章 神经网络基本理论神经网络基本理论Beijing University of Posts and Telecommunications.24.1 人工神经元模型人工神经元模型 人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。n生物神经元模型生物神经元模型生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若代数和超过某个阈值，神经元将产生冲动。代数和超过某个阈值，神经元将产生冲动。Beijing University of Posts and Telecommunications.34.1 人工神经元模型人工神经元模型n人工神经元模型人工神经元模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型x1,xnT为输入向量，为输入向量，y为输出，为输出，f()为激发函数，为激发函数，为阈值。为阈值。Wi为神经元与其为神经元与其它神经元的连接强度，也称权值。它神经元的连接强度，也称权值。Beijing University of Posts and Telecommunications.44.1 人工神经元模型人工神经元模型常用的激发函数常用的激发函数f 的种类的种类：1）阈值型函数）阈值型函数Beijing University of Posts and Telecommunications.54.1 人工神经元模型人工神经元模型2）饱和型函数）饱和型函数3）双曲函数）双曲函数Beijing University of Posts and Telecommunications.64.1 人工神经元模型人工神经元模型4）S型函数型函数5）高斯函数）高斯函数Beijing University of Posts and Telecommunications.74.2 神经网络的定义和特点神经网络的定义和特点 神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。统。n 定义定义n 特点特点（1）非线性映射逼近能力。非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。任意精度加以逼近。（2）自适应性和自组织性自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。（3）并行处理性。并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息处网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。理方式是大规模并行的，可以大大加快对信息处理的速度。（4）分布存储和容错性。分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，而信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。能。（5）便于集成实现和计算模拟。便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合，神经网络在结构上是相同神经元的大规模组合，特别适合于用大规模集成电路实现。特别适合于用大规模集成电路实现。Beijing University of Posts and Telecommunications.84.3 感知器模型感知器模型感知器感知器(Perceptron)是由美国学者是由美国学者F.Rosenblatt于于1957年提出的，它是一个具有年提出的，它是一个具有单层计算单元的神经网络，并由线性阈值元件组成。单层计算单元的神经网络，并由线性阈值元件组成。l 激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为1，否，否则为则为0或或-1。l它的权系它的权系W可变，这样它就可以学习。可变，这样它就可以学习。n感知器的结构感知器的结构Beijing University of Posts and Telecommunications.9 感知器的学习算法感知器的学习算法 v 感知器的学习是有导师学习。感知器的学习是有导师学习。v 感知器的训练算法的基本原理来源于著名的感知器的训练算法的基本原理来源于著名的Hebb学习律。学习律。v 基本思想：逐步地将样本集中的样本输入到网基本思想：逐步地将样本集中的样本输入到网络中络中,根据输出结果和理想输出之间的差别来调整根据输出结果和理想输出之间的差别来调整网络中的权矩阵。网络中的权矩阵。Beijing University of Posts and Telecommunications.10离散单输出感知器训练算法离散单输出感知器训练算法 v二二值值网网络络：自自变变量量及及其其函函数数的的值值、向向量量分分量量的的值值只取只取0和和1v权向量权向量：W=(w1，w2，wn)v输入向量：输入向量：X=(x1，x2，xn)v训练样本集：训练样本集：(X，Y)|Y为为输入向量输入向量X对应的输出对应的输出 Beijing University of Posts and Telecommunications.11离散单输出感知器训练算法离散单输出感知器训练算法 1.初始化权向量初始化权向量W；2.重复下列过程，直到训练完成：重复下列过程，直到训练完成：2.1对每个样本（对每个样本（X，Y），），重复如下过程：重复如下过程：2.1.1输入输入X；2.1.2计算计算o=F（XW）；）；2.1.3如果输出不正确，则如果输出不正确，则当当o=0时，取时，取W=W+X，当当o=1时，取时，取W=W-XBeijing University of Posts and Telecommunications.12离散多输出感知器训练算法离散多输出感知器训练算法 v样本集：样本集：(X,Y)|Y为为输入向量输入向量X对应的输出对应的输出v输入向量：输入向量：X=(x1,x2,xn)v理想输出向量：理想输出向量：Y=(y1,y2,ym)v激活函数：激活函数：F v权矩阵权矩阵W=(wij)v实际输出向量实际输出向量：O=(o1,o2,om)o1多输出感知器多输出感知器x1x2o2omxn输入层输入层输出层输出层Beijing University of Posts and Telecommunications.13离散多输出感知器训练算法 1.初始化权矩阵初始化权矩阵W；2.重复下列过程，直到训练完成：重复下列过程，直到训练完成：2.1对每个样本（对每个样本（X，Y），），重复如下过程：重复如下过程：2.1.1输入输入X；2.1.2计算计算O=F（XW）；）；2.1.3forj=1tomdo执行如下操作：执行如下操作：ifojyjthenifoi=0thenfori=1tonwij=wij+xielsefori=1tondowij=wij-xiBeijing University of Posts and Telecommunications.14离散多输出感知器训练算法离散多输出感知器训练算法v算算法法思思想想：将将单单输输出出感感知知器器的的处处理理逐逐个个地地用用于于多多输出感知器输出层的每一个神经元的处理。输出感知器输出层的每一个神经元的处理。v第第1步，步，权矩阵的初始化权矩阵的初始化：一系列小伪随机数。：一系列小伪随机数。Beijing University of Posts and Telecommunications.15离散多输出感知器训练算法v第第2步，步，循环控制。循环控制。v方方法法1：循循环环次次数数控控制制法法：对对样样本本集集执执行行规规定定次次数数的迭代的迭代v改改进进分分阶阶段段迭迭代代控控制制：设设定定一一个个基基本本的的迭迭代代次次数数N，每每当当训训练练完完成成N次次迭迭代代后后，就就给给出出一一个个中中间结果间结果Beijing University of Posts and Telecommunications.16离散多输出感知器训练算法v方法方法2：精度控制法：精度控制法：给定一个精度控制参数给定一个精度控制参数精精度度度度量量：实实际际输输出出向向量量与与理理想想输输出出向向量的对应分量的差的绝对值之和；量的对应分量的差的绝对值之和；实实际际输输出出向向量量与与理理想想输输出出向向量量的的欧欧氏氏距距离的和离的和;“死死循循环环”：网网络络无无法法表表示示样样本本所所代代表表的问题的问题;Beijing University of Posts and Telecommunications.17离散多输出感知器训练算法离散多输出感知器训练算法v方法方法3：综合控制法：综合控制法：将这两种方法结合起来使用将这两种方法结合起来使用 v注意：精度参数的设置。根据实际问题选定；初注意：精度参数的设置。根据实际问题选定；初始测试阶段，精度要求低，测试完成后，再给出始测试阶段，精度要求低，测试完成后，再给出实际的精度要求。实际的精度要求。Beijing University of Posts and Telecommunications.18连续多输出感知器训练算法连续多输出感知器训练算法 v用公式用公式wij=wij+（yj-oj）xi取代了算法取代了算法3-2第第2.1.3步中的多个判断步中的多个判断vyj与与oj之间的差别对之间的差别对wij的影响由的影响由（yj-oj）xi表现表现出来出来v好处：不仅使得算法的控制在结构上更容易理解，好处：不仅使得算法的控制在结构上更容易理解，而且还使得它的适应面更宽而且还使得它的适应面更宽 Beijing University of Posts and Telecommunications.19连续多输出感知器训练算法连续多输出感知器训练算法 1用适当的小伪随机数初始化权矩阵用适当的小伪随机数初始化权矩阵W；2.初置精度控制参数初置精度控制参数，学习率学习率，精度控制变量精度控制变量d=+1；3Whileddo3.1d=0；3.2for每个样本（每个样本（X，Y）do3.2.1输入输入X（=(x1，x2，xn)）；）；3.2.2求求O=F（XW）；）；3.2.3修改权矩阵修改权矩阵W：fori=1ton，j=1tomdowij=wij+(yj-oj)xi；3.2.4累积误差累积误差forj=1tomdod=d+(yj-oj)2Beijing University of Posts and Telecommunications.20线性不可分问题线性不可分问题 异或异或(ExclusiveOR)问题问题 g（x，y）y01x001110Beijing University of Posts and Telecommunications.21用于求解用于求解XOR的单神经元感知器的单神经元感知器 xyo单神经元感知器单神经元感知器的图像的图像ax+by=1yx1(0,0)(1,1)Beijing University of Posts and Telecommunications.22线性不可分函数线性不可分函数变量变量函数及其值函数及其值xyf1f2f3f4f5f6f7f8f9f10f11f12f13f14f15f16000000000011111111010000111100001111100011001100110011110101010101010101Beijing University of Posts and Telecommunications.23线性不可分函数线性不可分函数vR.O.Windner 1960年 自变量个数自变量个数函数的个数函数的个数线性可分函数的个数线性可分函数的个数144216143256104465,536188254.3*10994,57261.8*10195,028,134Beijing University of Posts and Telecommunications.24线性不可分问题的克服线性不可分问题的克服 v用多个单级网组合在一起，并用其中的一个去综用多个单级网组合在一起，并用其中的一个去综合其它单级网的结果，我们就可以构成一个两级合其它单级网的结果，我们就可以构成一个两级网络，该网络可以被用来在平面上划分出一个封网络，该网络可以被用来在平面上划分出一个封闭或者开放的凸域来闭或者开放的凸域来v一个非凸域可以拆分成多个凸域。按照这一思路，一个非凸域可以拆分成多个凸域。按照这一思路，三级网将会更一般一些，我们可以用它去识别出三级网将会更一般一些，我们可以用它去识别出一些非凸域来。一些非凸域来。v解决好隐藏层的联接权的调整问题是非常关键的解决好隐藏层的联接权的调整问题是非常关键的 Beijing University of Posts and Telecommunications.254.4 神经网络的构成和分类神经网络的构成和分类n 构成构成 l 从从Perceptron模型可以看出神经网络通过一组状态方程和一组学习方程加模型可以看出神经网络通过一组状态方程和一组学习方程加以描述。以描述。l 状态方程描述每个神经元的输入、输出、权值间的函数关系。状态方程描述每个神经元的输入、输出、权值间的函数关系。l 学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，从而调整整个神经网络的输入输出关系。从而调整整个神经网络的输入输出关系。n分类分类（1）从结构上划分）从结构上划分 通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构上来说，主要分为层状和网状结构。上来说，主要分为层状和网状结构。Beijing University of Posts and Telecommunications.264.4 神经网络的构成和分类神经网络的构成和分类层状结构层状结构：网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同层内神经元不能联接。单向联接，一般同层内神经元不能联接。前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。每前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。每个神经元从前一层接收输入，发送输出给下一层。个神经元从前一层接收输入，发送输出给下一层。Beijing University of Posts and Telecommunications.274.4 神经网络的构成和分类神经网络的构成和分类网状结构：网络中任何两个神经元之间都可能双向联接。网状结构：网络中任何两个神经元之间都可能双向联接。反馈网络：从输出层到输入层有反馈，反馈网络：从输出层到输入层有反馈，每一个神经元同时接收外来输入和来自其每一个神经元同时接收外来输入和来自其它神经元的反馈输入，其中包括神经元输它神经元的反馈输入，其中包括神经元输出信号引回自身输入的自环反馈。出信号引回自身输入的自环反馈。混合型网络：前向网络的同一层神经混合型网络：前向网络的同一层神经元之间有互联的网络。元之间有互联的网络。Beijing University of Posts and Telecommunications.284.4 神经网络的构成和分类神经网络的构成和分类（2）从激发函数的类型上划分从激发函数的类型上划分 高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等（3）从网络的学习方式上划分从网络的学习方式上划分有导师学习神经网络有导师学习神经网络为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼近样本数据的输入输出关系。近样本数据的输入输出关系。无导师学习神经网络无导师学习神经网络不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提取出来。取出来。（4）从学习算法上来划分：）从学习算法上来划分：基于基于BP算法的网络、基于算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络、算法的网络、基于竞争式学习算法的网络、基于遗传算法的网络。基于遗传算法的网络。Beijing University of Posts and Telecommunications.294.4 多层前向多层前向BP神经网络神经网络 最早由最早由werbos在在1974年提出的，年提出的，1985年由年由Rumelhart再次进行发展。再次进行发展。n 多层前向神经网络的结构多层前向神经网络的结构多层前向神经网络由输入层、隐层（不少于多层前向神经网络由输入层、隐层（不少于1层）、输出层组成，信号沿输层）、输出层组成，信号沿输入入输出的方向逐层传递。输出的方向逐层传递。Beijing University of Posts and Telecommunications.304.4 多层前向多层前向BP神经网络神经网络沿信息的传播方向，给出网络的状态方程，用沿信息的传播方向，给出网络的状态方程，用Inj(i)，Outj(i)表示第表示第i层第层第j个神经个神经元的输入和输出，则各层的输入输出关系可描述为：元的输入和输出，则各层的输入输出关系可描述为：第一层（输入层）：将输入引入网络第一层（输入层）：将输入引入网络 第二层（隐层）第二层（隐层）第三层（输出层）第三层（输出层）Beijing University of Posts and Telecommunications.314.4 多层前向多层前向BP神经网络神经网络n网络的学习网络的学习 学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可能接近期望的输出。能接近期望的输出。假设有假设有M个样本个样本:将第将第k个样本个样本Xk输入网络，得到的网络输出为输入网络，得到的网络输出为定义学习的目标函数为定义学习的目标函数为：Beijing University of Posts and Telecommunications.324.4 多层前向多层前向BP神经网络神经网络为使目标函数最小，训练算法是：为使目标函数最小，训练算法是：令令 则则Beijing University of Posts and Telecommunications.334.4 多层前向多层前向BP神经网络神经网络学习的步骤：学习的步骤：（1）依次取第）依次取第k组样本组样本，将，将Xk输入网络。输入网络。（2）依次计算）依次计算，如果，如果，退出。，退出。（3）计计算算（4）计计算算（5），修正，修正权值权值，返回（，返回（1）如果样本数少，则学习知识不够；如果样本多，则需计算更多的如果样本数少，则学习知识不够；如果样本多，则需计算更多的dJk/dw,，训练，训练时间长。可采用随机学习法每次以样本中随机选取几个样本，计算时间长。可采用随机学习法每次以样本中随机选取几个样本，计算 dJk/dw,，调，调整权值。整权值。Beijing University of Posts and Telecommunications.34例例4.1 多层前向多层前向BP网络训练网络训练训练样本训练样本SISO：SampleInput=0 0.1 0.2 0.3 0.4;SampleOutput=4 2 2 2 2;网络结构：网络结构：Beijing University of Posts and Telecommunications.35网络输入输出关系：网络输入输出关系：需训练的量：需训练的量：Beijing University of Posts and Telecommunications.36训练算法：训练算法：Beijing University of Posts and Telecommunications.37训练初始参数：训练初始参数：W1=rand(1,5);W2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;LearningRate3=0.2;LearningRate4=0.2;Beijing University of Posts and Telecommunications.38训练后参数：训练后参数：W1-0.4059 8.5182 -0.5994 -0.1153 -1.1916;W2=0.6245 2.8382 0.6632 0.5783 3.5775;Beta=1.6219 -4.9403 1.6041 1.5145 -0.3858;Theta=1.5832 0.1900 1.5406 1.6665 -0.1441;Beijing University of Posts and Telecommunications.39训练训练1000次目标函数的变化曲线：次目标函数的变化曲线：Beijing University of Posts and Telecommunications.40训练结束后神经网络的输出与样本的拟和情况训练结束后神经网络的输出与样本的拟和情况Beijing University of Posts and Telecommunications.414.4 多层前向多层前向BP神经网络神经网络n前向网络进一步需研究的问题前向网络进一步需研究的问题 局部最优问题，（网络初值选取不恰当）。局部最优问题，（网络初值选取不恰当）。学习算法收敛速度慢，学习算法收敛速度慢，Sigmaid函数本身存在无穷多闪导数，而函数本身存在无穷多闪导数，而BP算法只用了一次导数，致使收敛速度慢。算法只用了一次导数，致使收敛速度慢。网络的运行是单向传播，没有反馈，是一个非浅性映射，而不是非网络的运行是单向传播，没有反馈，是一个非浅性映射，而不是非浅性动力系统。浅性动力系统。网络隐层节点个数和初始权值的选取，尚无理论指导。网络隐层节点个数和初始权值的选取，尚无理论指导。Beijing University of Posts and Telecommunications.424.5 大脑自组织神经网络大脑自组织神经网络 是一种无导师学习的网络是一种无导师学习的网络脑神经科学研究表明：脑神经科学研究表明：传递感觉的神经元排列是按某种规律有序进行的，这种传递感觉的神经元排列是按某种规律有序进行的，这种排列往往反映所感受的外部刺激的某些物理特征。排列往往反映所感受的外部刺激的某些物理特征。大脑自组织神经网络在接受外界输入时，将会分成不同的区域，不同的区域对大脑自组织神经网络在接受外界输入时，将会分成不同的区域，不同的区域对不同的模式具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的不同的模式具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的有序排列信号激励，从而形成一种拓扑意义上的有序排列 在在这这种网种网络络中，中，输输出出节节点与其点与其邻邻域其他域其他节节点点广泛相广泛相连连，并互相激励。，并互相激励。输输入入节节点和点和输输出出节节点之点之间间通通过过强强度度wij(t)相相连连接。通接。通过过某种某种规则规则，不断地不断地调调整整wij(t)，使得在，使得在稳稳定定时时，每一，每一邻邻域域的所有的所有节节点点对对某种某种输输入具有入具有类类似的似的输输出，并出，并且且这这种聚种聚类类的概率分布与的概率分布与输输入模式的概率分入模式的概率分布相接近。布相接近。Beijing University of Posts and Telecommunications.434.5 大脑自组织神经网络大脑自组织神经网络自组织学习算法：自组织学习算法：(1)权值权值初始化并初始化并选选定定领领域的大小域的大小；(2)输输入模式；入模式；(3)计计算空算空间间距离距离式中式中xi(t)是是t时时刻刻i节节点的点的输输入，入，wij(t)是是输输入入节节点点i与与输输出出节节点点j 的的连连接接强强度，度，N为输为输入入节节点的数目；点的数目；(4)选择节选择节点点j*，它，它满满足足(5)按下式改按下式改变变j*和其和其领领域域节节点的点的连连接接强强度度 wij(t+1)=wij(t)+(t)xi(t)-wij(t),jj*的的领领域，域，0i iN N-1 -1 式中式中(t)称之称之为为衰减因子。衰减因子。(6)返回到第返回到第(2)步，直至步，直至满满足足xi(t)-wij(t)2(为给为给定的定的误误差差)。Beijing University of Posts and Telecommunications.444.5 大脑自组织神经网络大脑自组织神经网络例例4.2 大脑自组织网络的训练大脑自组织网络的训练输入模式：输入模式：Xx1,x2,x3网络节点数量：网络节点数量：9 邻域：邻域：1网络初始权值：网络初始权值：W=0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.5208 0.4608 0.4435 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.5692 0.0877 0.3025;Beijing University of Posts and Telecommunications.454.5 大脑自组织神经网络大脑自组织神经网络1.单模式训练情况单模式训练情况输入为：输入为：X=0 0 1结果：结果：W=0.1122 0.0000 0.0000 0.0000 0.9028 0.8289 0.5208 0.4608 0.4435 0.4433 0.0000 0.0000 0.0000 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 1.0000 1.0000 1.0000 0.8045 0.3939 0.5692 0.0877 0.3025输入为：输入为：X=0 1 0结果：结果：W=0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.0000 0.0000 0.0000 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 1.0000 1.0000 1.0000 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.0000 0.0000 0.0000Beijing University of Posts and Telecommunications.464.5 大脑自组织神经网络大脑自组织神经网络2.多模式训练情况多模式训练情况1 0 00 1 00 0 1Input=训练结果：训练结果：0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.00000.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000W网络输出：网络输出：Output=Input*W=0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.00000.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000模式模式1模式模式2模式模式3模式模式2模式模式1模式模式3模式模式1模式模式2模式模式3Beijing University of Posts and Telecommunications.474.6 小脑神经网络小脑神经网络小脑模型关节控制器（小脑模型关节控制器（CMAC）是由）是由Albus最初于最初于1975年基于神经生理学提出年基于神经生理学提出的，它是一种基于局部逼近的简单快速的神经网络，能够学习任意多维非线性的，它是一种基于局部逼近的简单快速的神经网络，能够学习任意多维非线性映射映射,迄今已广泛用于许多领域。迄今已广泛用于许多领域。CMAC具有优点：具有优点：n具有局部逼近能力，每次修正的权值极少，学习速度快，适合于在线具有局部逼近能力，每次修正的权值极少，学习速度快，适合于在线学习；学习；n一定的泛化能力，相近输入给出相近输出，不同输入给出不同输出；一定的泛化能力，相近输入给出相近输出，不同输入给出不同输出；Beijing University of Posts and Telecommunications.484.6 小脑神经网络小脑神经网络nCMAC的原理的原理CMAC是一种模仿人类小脑的学习结构。在这种技术里，每个状态变量被量化并且输入是一种模仿人类小脑的学习结构。在这种技术里，每个状态变量被量化并且输入空间被划分成离散状态。量化的输入构成的向量指定了一个离散状态并且被用于产生地空间被划分成离散状态。量化的输入构成的向量指定了一个离散状态并且被用于产生地址来激活联想单元中存储的联想强度从而恢复这个状态的信息。址来激活联想单元中存储的联想强度从而恢复这个状态的信息。对于输入空间大的情况，联想单元数量巨大，为了节省存储空间，对于输入空间大的情况，联想单元数量巨大，为了节省存储空间，Albus提出了提出了hash编编码，将联想强度存于数量大大少于联想单元的码，将联想强度存于数量大大少于联想单元的hash单元中，联想单元中只存储单元中，联想单元中只存储hash单元单元的散列地址编码的散列地址编码Beijing University of Posts and Telecommunications.494.6 小脑神经网络小脑神经网络nCMAC的空间划分和量化机制的空间划分和量化机制超立方体联想单元“块”Beijing University of Posts and Telecommunications.504.6 小脑神经网络小脑神经网络nCMAC学习的数学推导学习的数学推导1)无无hash映射的映射的CMAC在在CMAC中，每个量化的状中，每个量化的状态对应态对应Ne个个联联想想单单元。假元。假设设Nh是是总总的的联联想想单单元元的数量，的数量，该该数量与没有数量与没有hash映射映射时时的物理存的物理存储储空空间间大小一致。用大小一致。用CMAC技技术术，第，第s个状个状态对应态对应的的输输出数据出数据ys可以被表示可以被表示为为：式中式中W是代表存是代表存储储内容（内容（联联想想强强度）的向量，度）的向量，Cs是存是存储单储单元激活向量，元激活向量，该该向向量包含量包含Ne个个1。在决定了空。在决定了空间间的划分方式后，的划分方式后，对对于指定的状于指定的状态态，单单元激活向量元激活向量Cs也随之确定。也随之确定。Beijing University of Posts and Telecommunications.514.6 小脑神经网络小脑神经网络nCMAC的空间划分和量化机制的空间划分和量化机制1.16个离散状态如右图所示；个离散状态如右图所示；2.12个联想单元分别对应超立方体，这些单元从个联想单元分别对应超立方体，这些单元从1到到12按升序按升序排列；排列；3.则第则第1个状态被超立方体个状态被超立方体Aa,Cc,Ee覆盖，将激活与这覆盖，将激活与这3个超个超立方体相对应的联想单元，对应于该状态的激活向量为：立方体相对应的联想单元，对应于该状态的激活向量为：Beijing University of Posts and Telecommunications.524.6 小脑神经网络小脑神经网络2)有有hash映射的映射的CMAC hash映射将几个联想单元和一个物理存储位置映射将几个联想单元和一个物理存储位置(hash单元单元)相对应。相对应。hash单元单元中存储联想强度，而此时的联想单元是虚拟的存储空间，只存储中存储联想强度，而此时的联想单元是虚拟的存储空间，只存储hash单元的单元的散列地址编码。有散列地址编码。有hash映射的映射的CMAC特别适用于存储空间小于超立方体数量特别适用于存储空间小于超立方体数量时的情况。用有时的情况。用有hash映射的映射的CMAC技术，第技术，第s个状态对应的输出数据个状态对应的输出数据ys可以被可以被表示为：表示为：式中式中Mp是是hash单单元的数量，它小于元的数量，它小于联联想想单单元数元数Nh。hij=1表示表示联联想想单单元元i激活激活hash单单元元j。由于每个。由于每个联联想想单单元元仅仅仅仅和一个和一个hash单单元相元相对应对应，所以，所以hash矩矩阵阵H的每一行的每一行仅仅有一个有一个单单元等于元等于1，其余的都等于，其余的都等于0。Beijing University of Posts and Telecommunications.534.6 小脑神经网络小脑神经网络 没有没有hash映射的公式和有映射的公式和有hash映射的公式可以合并为一个式子：映射的公式可以合并为一个式子：nCMAC的学习的学习CMAC用迭代算法来用迭代算法来训练联训练联想想强强度。在学度。在学习习中，我中，我们们将将Ns个个训练训练数据重复数据重复用于学用于学习习。在第。在第i次迭代中用第次迭代中用第s个个样样本学本学习习的迭代算法的迭代算法为为：S：样本数i：迭代次数：学习率期望输出Beijing University of Posts and Telecommunications.544.6 小脑神经网络小脑神经网络Beijing University of Posts and Telecommunications.554.6 小脑神经网络小脑神经网络例例4.3 CMAC训练训练样本：样本：SampleInput1=0.05 0.15 0.25 0.35;SampleInput2=0.05 0.15 0.25 0.35;SampleOutput=4 4 4 4;2 2 2 2;3 3 3 3;1 1 1 1;量化：两输入均量化为四个元素量化：两输入均量化为四个元素 if x10&x10.1&x10.2&x10.3&x1=0.4 indexX1=4;endBeijing University