《典型相关分析 》PPT课件.ppt
《《典型相关分析 》PPT课件.ppt》由会员分享,可在线阅读,更多相关《《典型相关分析 》PPT课件.ppt(42页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、第十章 典型相关分析v10.1 引言v10.2 总体典型相关v10.3 样本典型相关v10.4 典型相关系数的显著性检验10.1 引言v典型相关分析(canonical correlation analysis)是研究两组变量之间相关关系的一种统计分析方法,它能够有效地揭示两组变量之间的相互线性依赖关系。v典型相关分析是由霍特林(Hotelling,1935,1936)首先提出的。典型相关分析的应用例子v在工厂里,考察产品的q个质量指标(y1,y2,yq)与原材料的p个质量指标(x1,x2,xp)之间的相关关系;v牛肉、猪肉的价格与按人口平均的牛肉、猪肉的消费量之间的相关关系;v初一学生的阅读
2、速度、阅读才能与数学运算速度、数学运算才能之间的相关关系;v硕士研究生入学考试的各科成绩与本科阶段一些主要课程成绩之间的相关关系;v一组政府政策变量与一组经济目标变量之间的相关关系。10.2 总体典型相关v一、典型相关的定义及导出v二、典型相关变量的性质v三、从相关矩阵出发计算典型相关一、典型相关的定义及导出v设x=(x1,x2,xp)和y=(y1,y2,yq)是两组随机变量,且V(x)=11(0),V(y)=22(0),Cov(x,y)=12,即有其中21=12。v我们研究u=ax与v=by之间的相关关系,其中a=(a1,a2,ap),b=(b1,b2,bq)v Cov(u,v)=Cov(a
3、x,by)=aCov(x,y)b=a12bV(u)=V(ax)=aV(x)a=a11aV(v)=V(by)=bV(y)b=b22b所以附加约束条件V(u)=1,V(v)=1即a11a=1,b22b=1在此约束条件下,求aRp和bRq,使得(u,v)=a12b达到最大。v令 ,于是约束条件化为=1,=1 利用柯西不等式(1.8.1),有 由(1.8.3)式知,当=1时,达到最大 值 ,其中 是非负定矩阵 的最大特征 值,1相应的单位特征向量。若取(10.2.7)则依(1.8.1)式知,不等式(10.2.7)中的等号成立。从而,当取 时,(u,v)=a12b达到最大值1(显然11)。称 为第一对典
4、型相关变量,称1为第一个典型相关系数。v记m为12的秩,则 从而,有m个正特征值,记为 ,相应的正交单位特征向量记为 1,2,m。和 都具有相同的非零特征值。v令则1,2,m为 的相应于 的正交单位特征向量;a1,a2,am为的相应于 的特征向量;b1,b2,bm为 的相应于 的特征向量。v第一对典型相关变量u1,v1提取了x与y之间相关的最主要部分,如果这一部分还显得不够,可以在剩余相关中再求出第二对典型相关变量u2=ax,v2=by,也就是a,b应满足标准化条件且应使得第二对典型相关变量不包括第一对典型相关变量所含的信息,即(u2,u1)=(ax,a1x)=Cov(ax,a1x)=a11a
5、1=0(v2,v1)=(by,b1y)=Cov(by,b1y)=b22b1=0在这些约束条件下使得(u2,v2)=(ax,by)=a12b达到最大。v一般地,第i(1im)对典型相关变量ui=ax,vi=by是指,找出aRp,bRq,在约束条件a11a=1,b22b=1a11ak=0,b22bk=0,k=1,2,i1下,使得(ui,vi)=(ax,by)=a12b达到最大。v令 ,于是上述约束条件等价于=1,=1k=0,k=0,k=1,2,i1v由(1.8.4)式知,在该约束条件下,当=i时,达到最大值 。若取则依(1.8.1)式,不等式(10.2.7)中的等号成立。所以,当取a=ai,b=b
6、i时,(ui,vi)达到最大值i,称它为第i个典型相关系数,称ai,bi为第i对典型系数。二、典型相关变量的性质v1.同一组的典型变量互不相关v2.不同组的典型变量之间的相关性v3.原始变量与典型变量之间的相关系数v4.典型相关系数也是某种复相关系数v5.简单相关、复相关和典型相关之间的关系1.同一组的典型变量互不相关v设x,y的第i对典型变量为ui=aix,vi=biy,i=1,2,m则有V(ui)=ai11ai=1,V(vi)=bi22bi=1,i=1,2,m(ui,uj)=Cov(ui,uj)=ai11aj=0,1ijm(vi,vj)=Cov(vi,vj)=bi22bj=0,1ijm2.
7、不同组的典型变量之间的相关性v(ui,vi)=i,i=1,2,mv记u=(u1,u2,um),v=(v1,v2,vm),则上述两个性质可用矩阵表示为V(u)=I,V(v)=I,Cov(u,v)=或其中=diag(1,2,m)。3.原始变量与典型变量之间的相关系数v记A=(a1,a2,am),B=(b1,b2,bm),则原始变量与典型变量之间的协方差矩阵为Cov(x,u)=Cov(x,Ax)=11ACov(x,v)=Cov(x,By)=12BCov(y,u)=Cov(y,Ax)=21ACov(y,v)=Cov(y,By)=22Bv原始变量与典型变量之间的相关矩阵为 其中(10.2.18)式的证明
8、v现证明第一个等式,其余三个等式的证明是完全类似的。令其中1=E(x),2=E(y),即对x和y的各分量作标准化变换,于是4.典型相关系数也是某种复相关系数v 与y的复相关系数为v 与x的复相关系数为5.简单相关、复相关和典型相关之间的关系v当p=q=1时,x与y之间的(惟一)典型相关就是它们之间的简单相关;当p=1或q=1时,x与y之间的(惟一)典型相关就是它们之间的复相关。可见,复相关是典型相关的一个特例,而简单相关是复相关的一个特例。v第一个典型相关系数至少同x(或y)的任一分量与y(或x)的复相关系数一样大,即使所有这些复相关系数都较小,第一个典型相关系数仍可能很大;同样,从复相关的定
9、义也可以看出,当p=1(或q=1)时,x(或y)与y(或x)之间的复相关系数也不会小于x(或y)与y(或x)的任一分量之间的相关系数,即使所有这些相关系数都较小,复相关系数仍可能很大。三、从相关矩阵出发计算典型相关v有时,x和y的各分量的单位不全相同,我们希望在对各分量作标准化变换之后再作典型相关分析。v设 为 的相关矩阵,现在来求x*和y*的典型相关变量 。于是因为所以 式中 ,有 。同理式中 ,有 。v由此可见,为x*和y*的第i对典型系数,其第i个典型相关系数仍为i,在标准化变换下具有不变性,这一点与主成分分析有所不同。v由于故x*和y*的第i对典型变量 是x和y的第i对典型变量ui=a
10、ix,vi=biy的中心化值,自然都具有零均值。v例10.2.1 设x,y有如下相关矩阵:这里|1,|1,可以保证 存在。由于11有惟一的非零特征值11=2,故 有惟一非零特征值在约束条件 下,相应于特征值 的特征向量为 。同理,在约束条件 下,相应于特征值 的特征向量为 。所以,第一对典型相关变量为第一个典型相关系数为 。由于|1,|,表明第一个典型相关系数大于两组原始变量之间的相关系数。10.3 样本典型相关v设数据矩阵为则样本协方差矩阵为S可用来作为的估计。当np+q时,可分别作为 的估计;它们的非零特征值 可用来估计 ;v相应的特征向量 作为a1,a2,am的估计,作为b1,b2,bm
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 典型相关分析 典型相关分析 PPT课件 典型 相关 分析 PPT 课件
限制150内