数据融合学习.pptx

神经网络性质和能力n1.非线性2.输入输出映射3.适应性4.证据响应5.背景的信息6.容错性7.VLSI 实现8.分析和设计的一致性9.神经生物类比第1页/共40页神经网络性质和能力1.非线性。一个人工神经元可以是线性或者是非线性的。一个由非线性神经元互联而成的神经网络自身是非线性的,并且非线性是一种分布于整个网络中的特殊性质。第2页/共40页2.2.输入输出映射有监督学习或有教师学习是一个学习的流行范例,涉及使用带标号的训练样本或任务例子对神经网络的权值进行修改。每个样本由一个惟一的输入信号和相应期望响应组成。从一个训练集中随机选取一个样本给网络,网络就调整它的突触权值(自由参数),以最小化期望响应和由输入信号以适当的统计准则产生的实际响应之间的差别。第3页/共40页使用训练集中的很多例子重复神经网络的训练,直到网络到达没有显著的突触权值修正的稳定状态为止。先前用过的例子可能还要在训练期间以不同顺序重复使用。因此对当前问题网络通过建立输入输出映射从例子中进行学习。第4页/共40页3.3.适应性神经网络嵌入了一个调整自身突触权值以适应外界变化的能力。特别是一个在特定运行环境下接受训练的神经网络,对环境条件不大的变化可以容易进行重新训练。而且,当它在一个时变环境中运行时,网络突触权值就可以设计成随时间变化。n用于模式识别、信号处理和控制的神经网络与它的自适应能力结合,就可以变成能进行自适应模式识别、自适应信号处理和自适应控制的有效工具。第5页/共40页一般规则,在保证系统保持稳定时一个系统的自适应性越好,当要求在一个时变环境下运行时它的性能就越具鲁棒性。n但是,需要强调的是,自适应性不一定导致鲁棒性,实际可能相反。为最大限度实现自适应性,系统的主要时间常数应该长到可以忽略寄生干扰,而短到可以反应环境的重要变化。第6页/共40页4.证据响应 在模式识别的问题中,神经网络可以设计成既提供不限于选择哪一个特定模式的信息,也提供决策的置信度的信息。后者可以用来拒判那些出现的过于模糊的模 式。有这些信息,网络的分类性能就会改善。第7页/共40页5.背景的信息神经网络的特定结构和激发状态代表知识。网络中每一个神经元潜在地都受网络中所有其他神经元全局活动的影响。因此,背景信息自然由一个神经网络处理。第8页/共40页6.容错性一个以硬件形式实现后的神经网络有天生容错的潜质,或者鲁棒计算的能力,意即它的性能在不利运行条件下逐渐下降。比如,一个神经元或它的连接损坏了,存储模式的回忆在质量上被削弱。但是,由于网络信息存储的分布特性,在网络的总体响应严重恶化之前这种损坏是分散的。因此,原则上,一个神经网络的性能显示了一个缓慢恶化而不是灾难性的失败。第9页/共40页7.VLSI 实现神经网络的大规模并行性使它具有快速处理某些任务的潜在能力.这一特性使得神经网络很适合用超大规模集成(very-large-scale-integrated,VLSI)技术实现.VLSI特殊优点是提供一个以高度分层的方式捕捉真实复杂性行为的方法。第10页/共40页8.分析和设计的一致性基本上,神经网络作为信息处理器具有通用性。即涉及神经网络的应用的所有领域都使用同样记号。这种特征以不同的方式表现出来:神经元:不管形式如何,在所有的神经网络中都代表一个相同成分。这种共性使得在不同应用中的神经网络共享相同的理论和学习算法成为可能。模块化网络可以用模块的无缝集成来实现。第11页/共40页9.神经生物类比神经网络的设计是由对人脑的类比引发的,人脑是一个容错的并行处理的活生生的例子,说明这种处理不光在物理上可实现的而且还是快速高效的。n神经生物学家将(人工 )神经网络看作是一个解释神经生物现象的研究工具。另一方面,工程师注意神经生物学是将其作为解决复杂问题的新思路,这些问题比基于常规的硬件线路设计技术所能解决的问题更复杂。第12页/共40页网络结构1.单层前馈网络2.多层前馈网络3.递归网络第13页/共40页网络结构1.单层前馈网络源节点构成输入层，直接映射到神经元输出层上。源节点输入层神经元输出层单层前馈或无圈神经元网络图第14页/共40页2.2.多层前馈网络网络有一层或多层隐藏节点层,相应的计算节点称为隐藏单元或隐藏神经元。隐藏神经元的功能是以某种有用方式介入外部输入和网络输出之中。加上一个或多个隐藏层,网络可以引出高阶统计特性。当输入层很大的时候,隐藏层提取高阶统计特性的能力就更有价值了。第15页/共40页每一层的输入都是上一层的输出,最后的输出层给出相对于源节点的激活模式的网络输出。图中只有一个隐藏层以简化神经网络的布局。这是一个 10-42 网络,其中有 10 个源节点,4个隐藏神经元,2 个输出神经元。源节点输入层隐藏神经元层输出神经元层具有一个隐层和输出层 的全连接前馈或元圈网络图n完全连接网络,相邻层的任意一对节点都有连接。如果不 是这样,称为部分连接网络 第16页/共40页3.递归网络单层网络的每一个神经元的输出都反馈到所有其他神经元的输入中去。没有自反馈环没有隐藏层。自反馈环表示神经元的输出反馈到它自己的输入上去。无自反馈环和隐藏神经元的递归网络图第17页/共40页图示是带有隐藏神经元的一类递归网络,反馈连接的起点包括隐藏层神经元和输出神经元。有隐藏神经元的递归网络第18页/共40页对于神经网络具有首要意义的性质是网络能从环境中学习的能力,并通过学习改善其行 为。对行为的改善是随时间依据某一规定的度量进行的。神经网络通过施加于它的权值和偏置水平的调节的交互过程来学习它的环境。理想情况下,神经网络在每一次重复学习过 程后对它的环境便有更多的了解。第19页/共40页神经网络的背景中定义学习学习是一个过程,通过这个过程神经网络的自由参数在其嵌入的环境的激励过程之下得到调节。学习的类型由参数改变的方式决定。这个学习过程的定义隐含着如下的事实:1.神经网络被一个环境所激励。2.作为这个激励的结果,神经网络在它的自由参数上发生变化。3.由于神经网络内部结构的改变而以新的方式响应环境。解决学习问题的一个恰当定义的规则集合称作学习算法第20页/共40页单层感知器感知器是用于线性可分模式分类的最简单的神经网络模型。基本上它由一个具有可调权值和偏置的神经元组成。n如果用来训练感知器的模式(向量)取自两个线性可分的类,感知器算法是收敛的,称为感知器收敛定理。第21页/共40页LMSLMS算法单个神经元也构成一个自适应滤波器的基础,自适应滤波器是不断发展的信号处理主题的一个基本功能模块。自适应滤波器的发展很大程度上要归功于有关最小均方(least mean square,LMS)算法(也被称为delta 规则)的经典论文。第22页/共40页LMS算法虽然实现很简单,但在应用中有很高的效率。事实上,它在线性自适应滤波中起着关键作用,线性指的是神经元在线性模型下运行。自适应滤波器在天线、通信系统、控制系统、雷达、声纳、地震学和生物医学工程等很多领域都有应用.LMS算法和感知器本质上是相关的。第23页/共40页多层感知器多层前馈网络典型地由三部分组成:一组感知单元(源节点)组成输入层,一层或多层计算节点的隐藏层,还有一层计算节点的输出层。输入信号在层层递进基础上前向传播通过网络。这些神经网络通常被称为(multilayer perceptrons,MLPs),它代表单层感知器的推广。第24页/共40页在监督学习的方式下使用通称为误差反向传播算法训练多层感知器,它们已经成功应用于不同的复杂而困难的问题。误差反向传播算法是基于误差修正学习规则的。第25页/共40页基本上,误差反向传播学习由两次经过网络不同层的通过组成:一次前向通过和一次反向通过。在前向通过中,一个活动模式(输入向量)作用于网络感知节点,它的影响经过网络一层接一层地传播。最后产生一个输出作为网络的实际响应。在前向通过中,网络的权值全为固定的。第26页/共40页多层感知器有三个突出的特点:1.网络中的每个神经元模型包括一个非线性激活函数。感知器使用的限幅函数,非线性是光滑的(即处处可微)。满足非线性要求的一个普遍应用形式是由 logistic 函数第27页/共40页另一方面,在反向通过中,权值全部根据误差修正规则来调整。特别是从目标响应减去网络的实际响应而产生误差信号。这个误差信号反向传播经过网络,因此叫误差反向传播。权值被调整使得网络的实际响应从统计意义上接近目标响应。误差反向传播算法在文献中称为反向传播算法(back-propagation algorithm),或是简单称为反向传播(back-prop)。第28页/共40页2.网络包括一层或多层隐藏神经元,它们不是网络输入输出的部分。这些隐藏层神经元逐步从输人模式(向量)中提取更多的有用特征,可以使网络学习复杂的任务。第29页/共40页3.网络展示出高度的连接性,它由网络突触决定。网络连接的改变需要突触连接数量或其权值的改变。正是由上述特性以及通过训练从经验中学习的能力相结合使得多层感知器具有它的计算能力。第30页/共40页径向基函数网络 反向传播算法可以看作是脑技术的应用,这种技术在统计学中通称为随机逼近。将神经网络的设计看作是一个高维空间中的曲线拟合(逼近)问题,学习等价于在多维空间中寻找一个能够最佳拟合训练数据的曲面,“最佳拟合”的准则是在某种统计意义上的最佳拟合。泛化等价于利用这个多维曲面对测试数据进行插值。第31页/共40页是径向基函数方法的出发点。在神经网络的背景下,隐藏单元提供一个“函数”集,该函数集在输入模式(向量)扩展至隐藏空间时为其构建了一个任意的“基”;这个函数集中的函数称为径向基函数。径向基函数首先是在实多变量插值问题的解中引人的。径向基函数是目前数值分析研究中的一个主要领域。第32页/共40页最基本形式的径向基函数(RBF)网络的构成包括三层,其中每一层都有着完全不同的作用。输入层由一些源点(感知单元)组成,它们将网络与外界环境连结起来。第二层是网络中仅有的一个隐层,它的作用是从输入空间到隐藏空间之间进行非线性变换;在大多数情况下隐藏空间有较高的维数。输出层是线性的,它为作用于输入层的激活模式(信号)提供响应。第33页/共40页如非线性变换之后跟随线性变换，一个模式分类问题如果映射到一个高维空间将会比映射到一个低维更可能是线性可分的,这就是径向基函数网络的隐藏空间的维数通常都较高的原因。n还有一个重要的原因,就是隐藏空间的维数与网络能否逼近一个光滑的输入输出映射有直接的联系：隐藏空间的维数越高,逼近就越精确。第34页/共40页反向传播算法训练的多层感知器，径向基网络都是通用逼近器。支持向量机也用于模式分类和线性回归。第35页/共40页支持向量机是一种线性机器,有一些很好的特性。在模式分类中出现的可分模式的情况下,支持向量机的主要思想是建立一个超平面作为决策曲面,使得正例和反例之间的隔离边缘被最大化。第36页/共40页在“支持向量”xi和输入空间抽取的向量 x 之间的内积核这一个概念是构造支持向量机算法的关键。支持向量是由算法从训练数据中抽取的小的子集构成。依赖于这个内积核的不同产生方式,可能建立不同的学习机器,由它们自己的非线性决策曲面所表征。第37页/共40页尤其是,可以使用支持向量学习算法来构建学习机器中的下面三种类型:多项式学习机器 径向基函数网络两层感知器(即有单独隐藏层)第38页/共40页也就是说,对于这些前馈网络中的每一个,利用给定的训练数据集我们可以使用支持向量 学习算法来实现学习过程,自动决定要求隐藏单元的数目。用另一种方式陈述:由于反向传播算法专门为训练多层感知器设计,所以支持向量学习算法是一种更一般化的算法,因为它有更广泛的应用。第39页/共40页感谢您的观看。第40页/共40页