《流形学习专题介绍ppt课件.ppt》由会员分享,可在线阅读,更多相关《流形学习专题介绍ppt课件.ppt(71页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程流形学习专题介绍王瑞平人脸识别课题组中国科学院计算技术研究所2010/05/06 VMR Group Book Readinghttp:/ 是一种非监督的算法,能找到很好地代表所有样本的方向,但这个方向对于分类未必是最有利的9病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程线性降维方法l线性判别分析(LDA)Fukunaga,1991降维目的:寻找最能把两类样本分开的投影直线,使投影后两类样本的均值之差与投影样本的总类散度的
2、比值最大求解方法:经过推导把原问题转化为关于样本集总类内散度矩阵和总类间散度矩阵的广义特征值问题Bestprojectiondirectionforclassification10病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程降维方法概述l线性降维主成分分析(PCA)Jolliffe,1986线性判别分析(LDA)Fukunaga,1991PCALDA11病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程降维方法概述l线性降维主成分分析(PCA)Jolliffe,1986
3、线性判别分析(LDA)Fukunaga,1991多维尺度变换(MDS)Cox,1994xixjdijMappingzizjgij原始空间,可能非欧式低维欧式空间12病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程线性降维方法的不足l原始数据无法表示为特征的简单线性组合比如:PCA无法表达Helix曲线流形1-D Helix曲线流形13病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程线性降维方法的不足l真实数据中的有用信息不能由线性特征表示比如:如何获取并表示多姿态人脸的姿
4、态信息比如:如何获取运动视频序列中某个动作的对应帧#1 引自J.B.Tenenbaum et al.2000#2 引自Jenkins et.al,IROS 2002#2#114病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程降维方法概述l线性降维l传统非线性降维核主成分分析(KPCA)Scholkopf,1998主曲线(Principal Curves)Hastie,1989 Tibshirani,1992自组织映射(SOM)Kohonen,1995产生式拓扑映射(GTM)Bishop,199815病原体侵入机体,消弱机体防御机能,
5、破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程降维方法概述l基于流形学习的非线性降维保距特征映射(ISOMAP)Tenenbaum,2000局部线性嵌入(LLE)Roweis,2000拉普拉斯特征映射(LE,Laplacian Eigenmap)Belkin,2001Hessian LLE(HLLE)Donoho,2003局部切空间对齐(LTSA,Local Tangent Space Alignment)Zhang,2004最大方差展开(MVU/SDE,Maximum Variance Unfolding)Weinberger,2004局部保持映射(Locali
6、ty Preserving Projections)He,200316病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程提纲l研究背景l基本知识介绍l经典方法概览l总结讨论17病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程流形学习框架l什么是流形?流形是线性子空间的一种非线性推广拓扑学角度:局部区域线性,与低维欧式空间拓扑同胚微分几何角度:有重叠chart的光滑过渡黎曼流形就是以光滑的方式在每一点的切空间上指定了欧氏内积的微分流形#1 引自S.T.Roweis et al
7、.2000#1Swiss-rollS-curveFishbow18病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程l流形的数学定义设 是一个Hausdorff拓扑空间,若对每一点 都有 的一个开邻域 和 的一个开子集同胚,则称 为 维拓扑流形,简称为 维流形.流形学习框架#1 引自M.H.Law,2004#1Mx1x2R2Rnzxx:coordinateforzU19病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程l一些基本数学概念拓扑,Hausdorff 空间,坐标卡,
8、微分结构光滑函数,光滑映射,切向量,切空间l参考文献陈省身,陈维桓,微分几何讲义.北京大学出版社,1983M Berger,B Gostiaux.Differential Geometry:Manifolds,Curves and Surfaces,GTM115.Springer-Verlag,1974陈维桓,微分流形初步(第二版).高等教育出版社,2001流形学习框架20病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程l流形学习的目的流形学习是一种非线性的维数约简方法高维观察数据的变化模式本质是由少数几个隐含变量所决定的l如:人脸
9、采样由光线亮度、人与相机的距离、人的头部姿势、人的面部表情等因素决定从认知心理学的角度,心理学家认为人的认知过程是基于认知流形和拓扑连续性的流形学习框架#1 引自Lin et al.PAMI 2008#121病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程流形学习的数学定义设设 是一个低维流形是一个低维流形,是一个光滑嵌入是一个光滑嵌入,其中其中 Dd.数据集数据集 是随机生成的是随机生成的,且经过且经过 f 映射为观映射为观察空间的数据察空间的数据 流形学习就是在给定观察样本流形学习就是在给定观察样本集集 的条件下重构的条件下重构
10、 f 和和 .V.de Silva and J.B.Tenenbaum.Global versus local methods in nonlinear dimensionality reduction.Neural Information Processing Systems 15(NIPS2002),pp.705-712,2003.22病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程非线性降维高维数据空间data/observationspace低维嵌入空间embedding/coordinatespace保持一定几何拓扑关系,
11、如测地距离/邻域线性重构关系流形学习示例23病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程提纲l研究背景l基本知识介绍l经典方法概览l总结讨论24病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程经典流形学习方法一览方法简称所保持的几何属性全局/局部关系计算复杂度ISOMAP点对测地距离全局非常高LLE局部线性重构关系局部低LE局部邻域相似度局部低HLLE局部等距性局部高LTSA局部坐标表示全局+局部低MVU局部距离全局+局部非常高Logmap测地距离与方向局部非常低Di
12、ffusion Mapsdiffusion距离全局中等25病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程经典方法分类结构图26病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程等距映射(ISOMAP)J.B.Tenenbaum,V.de Silva,and J.C.Langford.A global geometric framework for nonlinear dimensionality reduction.Science,vol.290,pp.2319-2323
13、,2000.局部线性嵌入(LLE)S.T.Roweis and L.K.Saul.Nonlinear dimensionality reduction by locally linear embedding.Science,vol.290,pp.2323-2326,2000.拉普拉斯特征映射(Laplacian Eigenmap)M.Belkin,P.Niyogi,Laplacian Eigenmaps for Dimensionality Reduction and Data Representation.Neural Computation,Vol.15,Issue 6,pp.137313
14、96,2003.重点介绍的几个方法27病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程等距映射(ISOMAP)J.B.Tenenbaum,V.de Silva,and J.C.Langford.A global geometric framework for nonlinear dimensionality reduction.Science,vol.290,pp.2319-2323,2000.局部线性嵌入(LLE)S.T.Roweis and L.K.Saul.Nonlinear dimensionality reduction
15、by locally linear embedding.Science,vol.290,pp.2323-2326,2000.拉普拉斯特征映射(Laplacian Eigenmap)M.Belkin,P.Niyogi,Laplacian Eigenmaps for Dimensionality Reduction and Data Representation.Neural Computation,Vol.15,Issue 6,pp.13731396,2003.重点介绍的几个方法28病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程代表
16、性算法-1lISOMAP(Isometric feature mapping)保持全局测地距离l测地距离反映数据在流形上的真实距离差异等距映射l基于线性算法MDS,采用“测地距离”作为数据差异度量#1 引自J.B.Tenenbaum et al.2000#1欧式距离 vs.测地距离最短路径近似测地距离降维嵌入空间29病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程多维尺度变换多维尺度变换(MDS)MDS 是一种非监督的维数约简方法是一种非监督的维数约简方法.MDS的基本思想的基本思想:约简后低维空间中任意两点间的距离约简后低维空间中
17、任意两点间的距离应该与它们在原高维空间中的应该与它们在原高维空间中的距离相同距离相同.MDS的求解的求解:通过适当定义准则函数来体现在低维空间通过适当定义准则函数来体现在低维空间中对高维距离的重建误差中对高维距离的重建误差,对准则函数用梯度下降法求解对准则函数用梯度下降法求解,对于某些特殊的距离可以推导出解析解法对于某些特殊的距离可以推导出解析解法.30病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程MDS的准则函数的准则函数31病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生
18、理过程MDS的示意图的示意图32病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程MDS的失效的失效33病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程l测地线:流形上连接两个点的最短曲线例如:球面上的测地线就是球面上的大圆弧l测地距离:测地线的长度ABFigurefromhttp:/ 计算每个点的近邻点计算每个点的近邻点(用用K近邻或近邻或 邻域邻域).2 在样本集上定义一个赋权无向图在样本集上定义一个赋权无向图 如果如果 和和 互为互为近邻点近邻点,则边的权值为则边的权
19、值为3 计算图中两点间的最短距离计算图中两点间的最短距离,记所得的距离矩阵为记所得的距离矩阵为 .4 用用MDS求低维嵌入坐标求低维嵌入坐标,令令低维嵌入是低维嵌入是 的第的第1大到第大到第 d大的特征值所对应的大的特征值所对应的特征向量特征向量.35病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程M.Bernstein,V.Silva,J.C.Langford,J.B.Tenenbaum 证明了如下的渐进收敛定理证明了如下的渐进收敛定理.假设采样点是随机均匀抽取的假设采样点是随机均匀抽取的,则则 渐进收敛定理渐进收敛定理 给定给定
20、 则只要样本集充分大则只要样本集充分大且适当选择且适当选择K,不等式不等式 至少以概率至少以概率 成立成立.图距离逼近测地距离图距离逼近测地距离36病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程ISOMAP实验结果FiguresfromISOMAPpaper37病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程Figurefromhttp:/isomap.stanford.edu/handfig.htmlISOMAP实验结果38病原体侵入机体,消弱机体防御机能,破坏机体内
21、环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程FiguresfromISOMAPpaperISOMAP实验结果39病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程Interpolation on Straight Lines in the Projected Co-ordinatesFiguresfromISOMAPpaper40病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程代表性算法-1lISOMAP(Isometric feature mappi
22、ng)前提假设l数据所在的低维流形与欧式空间的一个子集整体等距l该欧式空间的子集是一个凸集思想核心l较近点对之间的测地距离用欧式距离代替l较远点对之间的测地距离用最短路径来逼近算法特点l适用于学习内部平坦的低维流形l不适于学习有较大内在曲率的流形l计算点对间的最短路径比较耗时41病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程ISOMAP-summarylInherits features of MDS and PCA:guaranteed asymptotic convergence to true structurePolyno
23、mial runtimeNon-iterativeAbility to discover manifolds of arbitrary dimensionalitylPerform well when data is from a single well sampled clusterlFew free parameters lGood theoretical base for its metrics preserving properties42病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程Problems with ISOMA
24、PlEmbeddings are biased to preserve the separation of faraway points,which can lead to distortion of local geometrylFails to nicely project data spread among multiple clusterslWell-conditioned algorithm but computationally expensive for large datasets43病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程
25、度的病理生理过程Improvements to ISOMAPlConformal Isomap capable of learning the structure of certain curved manifoldslLandmark Isomap approximates large global computations by a much smaller set of calculationlReconstruct distances using k/2 closest objects,as well as k/2 farthest objects44病原体侵入机体,消弱机体防御机能,
26、破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程等距映射(ISOMAP)J.B.Tenenbaum,V.de Silva,and J.C.Langford.A global geometric framework for nonlinear dimensionality reduction.Science,vol.290,pp.2319-2323,2000.局部线性嵌入(LLE)S.T.Roweis and L.K.Saul.Nonlinear dimensionality reduction by locally linear embedding.Science,
27、vol.290,pp.2323-2326,2000.拉普拉斯特征映射(Laplacian Eigenmap)M.Belkin,P.Niyogi,Laplacian Eigenmaps for Dimensionality Reduction and Data Representation.Neural Computation,Vol.15,Issue 6,pp.13731396,2003.重点介绍的几个方法45病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程代表性算法-2lLLE(Locally linear embedding)显
28、式利用“局部线性”的假设保持局部邻域几何结构 重构权重权重对样本集的几何变换具有不变性46病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程代表性算法-2lLLE(Locally linear embedding)前提假设l采样数据所在的低维流形在局部是线性的l每个采样点均可以利用其近邻样本进行线性重构表示学习目标l低维空间中保持每个邻域中的重构权值不变l在嵌入映射为局部线性的条件下,最小化重构误差l最终形式化为特征值分解问题47病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理
29、过程LLE算法示意图算法示意图48病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程LLE算法流程算法流程 1 计算每一个点计算每一个点 的近邻点的近邻点,一般采用一般采用K 近邻或者近邻或者 邻域邻域.2 计算权值计算权值 使得把使得把 用它的用它的K个近邻点线性表示个近邻点线性表示的误差最小的误差最小,即通过最小化即通过最小化 来求出来求出 .3 保持权值保持权值 不变不变,求求 在低维空间的象在低维空间的象 ,使使得低维重构误差最小得低维重构误差最小.49病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位
30、生长繁殖,引起不同程度的病理生理过程LLE算法的求解算法的求解1 计算每一个点计算每一个点 的近邻点的近邻点.2 对于点对于点 和它的近邻点的权值和它的近邻点的权值 ,3 令令 ,低维嵌入低维嵌入是是 M 的最小的第的最小的第 2到第到第 d1 个特征向量个特征向量.50病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程LLE实验结果51病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程LLE实验结果52病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部
31、位生长繁殖,引起不同程度的病理生理过程LLE实验结果邻域参数的影响53病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程FigurefromLLEpaperLLE实验结果54病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程LLE实验结果55病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程代表性算法-2lLLE(Locally linear embedding)优点l算法可以学习任意维的局部线性的低维流形l算法归结
32、为稀疏矩阵特征值计算,计算复杂度相对较小缺点l算法所学习的流形只能是不闭合的l算法要求样本在流形上是稠密采样的l算法对样本中的噪声和邻域参数比较敏感56病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程Numerical IssueslCovariance matrix used to compute W can be ill-conditioned,regularization needs to be usedlSmall eigen values are subject to numerical precision errors
33、and to getting mixedlBut,sparse matrices used in this algorithm make it much faster then Isomap57病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程等距映射(ISOMAP)J.B.Tenenbaum,V.de Silva,and J.C.Langford.A global geometric framework for nonlinear dimensionality reduction.Science,vol.290,pp.2319-23
34、23,2000.局部线性嵌入(LLE)S.T.Roweis and L.K.Saul.Nonlinear dimensionality reduction by locally linear embedding.Science,vol.290,pp.2323-2326,2000.拉普拉斯特征映射(Laplacian Eigenmap)M.Belkin,P.Niyogi,Laplacian Eigenmaps for Dimensionality Reduction and Data Representation.Neural Computation,Vol.15,Issue 6,pp.1373
35、1396,2003.重点介绍的几个方法58病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程代表性算法-3lLE(Laplacian Eigenmap)基本思想:在高维空间中离得很近的点投影到低维空间中的象也应该离得很近.求解方法:求解图拉普拉斯算子的广义特征值问题.59病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程拉普拉斯算子拉普拉斯算子设设 M 是光滑的黎曼流形是光滑的黎曼流形,f 是是 M 上的光滑函数上的光滑函数,是是 f 的梯度的梯度,则称线性映射则称线性映射
36、为为 M 上的拉普拉斯算子上的拉普拉斯算子,其中其中div是散度算子是散度算子.60病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程图上的拉普拉斯算子图上的拉普拉斯算子设设 G 是一个图是一个图,v 是它的顶点是它的顶点,是是 v 的自由度的自由度,w(u,v)是连接顶点是连接顶点u,v 的边的权值的边的权值,令令 其中其中 T 是对角矩阵是对角矩阵,对角线的元素为对角线的元素为 ,则称则称 L 为图为图 G 上的拉普拉斯算子上的拉普拉斯算子.61病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引
37、起不同程度的病理生理过程Laplacian Eigenmap 算法流程算法流程1 从样本点构建一个近邻图从样本点构建一个近邻图,图的顶点为样本点图的顶点为样本点,离得离得很近两点用边相连很近两点用边相连(K近邻或近邻或 邻域邻域).2 给每条边赋予权值给每条边赋予权值 如果第如果第 个点和第个点和第 j 个点不相连,个点不相连,权值为权值为0,否则,否则 ;3 计算图拉普拉斯算子的广义特征向量计算图拉普拉斯算子的广义特征向量,求得低维嵌入求得低维嵌入.令令D为对角矩阵为对角矩阵 L是近邻图上的是近邻图上的拉普拉斯算子拉普拉斯算子,求解广义特征值问题求解广义特征值问题 .62病原体侵入机体,消弱
38、机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程Laplacian Eigenmap实验结果实验结果(1)63病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程300 most frequent words of the Brown corpus represented in the spectral domainLaplacian Eigenmap实验结果实验结果(2)64病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程Lapla
39、cian Eigenmap实验结果实验结果(2)The first is exclusively infinitives of verbs,the second contains prepositions and the third mostly modal and auxiliary verbs.We see that syntactic structure is well-preserved.65病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程代表性算法-3lLE(Laplacian Eigenmap)优点l算法是局部非线性方法
40、,与谱图理论有很紧密的联系.l算法通过求解稀疏矩阵的特征值问题解析地求出整体最优解,效率非常高l算法使原空间中离得很近的点在低维空间也离得很近,可以用于聚类缺点l同样对算法参数和数据采样密度较敏感l不能有效保持流形的全局几何结构66病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程提纲l研究背景l基本知识介绍l经典方法概览l总结讨论67病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程经典方法小结l优点非参数:不需要对流形的很多参数作假设非线性:基于流形内在几何结构,体现现实
41、数据的本质求解简单:转化为求解优化问题,通常采用特征值分解,而不需要采用迭代算法l缺点对观察数据存在流形结构的假设需要调节较多的算法参数,如k-NN的邻域参数k对数据采样稠密性、均匀性以及噪声数据的敏感性68病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程研究难点与未来方向l如何进行统一有效的定量化评估真实数据 vs.人工数据理论分析依据评估指标:一致性,收敛率,稳定性,复杂度l如何求解测试数据的out-of-sample问题线性近似回归方法l如何确定低维目标空间的维数l如何进行监督式推广应用于分类问题69病原体侵入机体,消弱机体防
42、御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程参考文献lRoweis,S.T.and L.K.Saul(2000).Nonlinear dimensionality reduction by locally linear embedding Science 290(5500):2323-2326.lTenenbaum,J.B.,V.de Silva,et al.(2000).A global geometric framework for nonlinear dimensionality reduction Science 290(5500):2319-2
43、323.lVlachos,M.,C.Domeniconi,et al.(2002).Non-linear dimensionality reduction techniques for classification and visualization.Proc.of 8th SIGKDD,Edmonton,Canada.lde Silva,V.and Tenenbaum,J.(2003).“Global versus local methods for nonlinear dimensionality reduction”,Advances in Neural Information Processing Systems,15.lLaw,Martin.Nonlinear Dimensionality Reduction and Manifold Learning.2005.lLin,Zhouchen.A Glance over Manifold Learning.2008.l杨剑.流形学习问题.2004.70病原体侵入机体,消弱机体防御机能,破坏机体内环境的相对稳定性,且在一定部位生长繁殖,引起不同程度的病理生理过程感谢各位老师同学!71
限制150内