PCA网络计算法ppt.ppt
《PCA网络计算法ppt.ppt》由会员分享,可在线阅读,更多相关《PCA网络计算法ppt.ppt(27页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、PCA(principle components analysis)网络及算法,房子成 郑金斌,主要内容,神经网络PCA的基本结构PCA的基本原理PCA算法的进一步扩展研究网络遇到的问题PCA仿真应用,第一个问题:神经网络PCA的基本结构一、单个神经元抽取最大分量,输出为权值修正公式:向量形式:,二、单层网络抽取一主分量,网络的输出为:Sanger 提出如下的权值修正公式:向量形式:其中,第二个问题:PCA的基本原理,EX=0a=xTu=uTx2=Ea2=uTRxxu(u)= 2=uTRxxu(u+u) (u) (u)TRxxu0 (u)Tu0 (u)T(Rxxu-u)=0Rxxu=u,第二个
2、问题:PCA的基本原理,=diag(0,1,d1)UTRxxU=,第二个问题:PCA的基本原理,误差为:原是变量x的d个分量的总方差为:变换后的向量前m个分量的方差为: 误差e的方差为:,结论:,欲进行维数压缩,应先计算输入向量的相关矩阵Rxx的特征值和特征向量,并将特征向量单位化,按大小顺序排列。然后将原向量投影到前m个特征值对应的特征向量构成的子空间中,用x0,x1,xm-1表示投影后的分量,则x0具有最大方差,与x0不相关的方向中x1,具有最大方差。依次类推。,主成分的几何说明,第三个问题:PCA算法的进一步扩展,一、有侧向连接自适应的PCA,说明:,(1)由输入到神经元0,1,j间是前
3、向连接,jp,p是维数,权向量为Wj=j,0(n), j,1(n), j,2(n), j,p-1(n),T他们是按Hebb规则学习的,起自增强的作用。(2)从神经元0,1,j1到第j神经元间的侧向连接起反馈作用,反馈连接权为aj(n)=aj,o(n) ,aj,1(n), , aj,j-1(n)T他们按反Hebb规则学习的,起抑制作用。,j单元的输出为:,yj(n)=wjT(n)x(n)+ajT(n)yj-1(n)其中反馈信号:yj-1(n)=y0(n), y1(n), , yj-1(n)T,二、非线性的PCA,线性PCA的不足:(1)常规的PCA可以用数值法求解,而基于梯度法的神经网络收敛较慢
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- pca 网络 算法 ppt
限制150内