回归分析(3)多元逐步回归.ppt
《回归分析(3)多元逐步回归.ppt》由会员分享,可在线阅读,更多相关《回归分析(3)多元逐步回归.ppt(27页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、回归分析(3)多元逐步回归 Four short words sum up what has lifted most successful Four short words sum up what has lifted most successful individuals above the crowd: a little bit more. individuals above the crowd: a little bit more. -author -author -date-date 为了得到一个稳健的、可靠的回归模为了得到一个稳健的、可靠的回归模型,这就需要给出一种方法,使得能从型,
2、这就需要给出一种方法,使得能从影响影响 的因素中自动根据某种准则将的因素中自动根据某种准则将 对对 贡献大的变量贡献大的变量 (或者说对(或者说对 重要的变重要的变量量 )引入方程,不重要的变量从方程)引入方程,不重要的变量从方程中剔除。最终在观测数据基础上建立最中剔除。最终在观测数据基础上建立最优的回归方程。优的回归方程。yyyixix 2.5 2.5 多元逐步回归算法原理多元逐步回归算法原理2.5.1 2.5.1 逐步回归算法的形成思路逐步回归算法的形成思路 逐步回归算法基本思路逐步回归算法基本思路 根据各自变量的重要性,每一步选一个重要根据各自变量的重要性,每一步选一个重要的变量进入回归
3、方程。的变量进入回归方程。 第一步是在所有可供挑选的变量中选出一个变量,第一步是在所有可供挑选的变量中选出一个变量,使它组成的一元回归方程比其他变量有更大的回归平方使它组成的一元回归方程比其他变量有更大的回归平方和。第二步是在剩下的自变量中选这样一个变量,它与和。第二步是在剩下的自变量中选这样一个变量,它与已选入方程的那个变量所组成的二元回归方程,比其他已选入方程的那个变量所组成的二元回归方程,比其他任一变量与已先选入方程的变量所组成的二元回归方程,任一变量与已先选入方程的变量所组成的二元回归方程,有更大有更大的回归平方和。的回归平方和。l 如此继续下去,假设已经进行到如此继续下去,假设已经进
4、行到 步,那第步,那第 步步是在未选的变量中选出这样一个变量,它与已选入回是在未选的变量中选出这样一个变量,它与已选入回归方程的变量组成归方程的变量组成 元回归方程,比其他余下的任何元回归方程,比其他余下的任何一个变量组成的一个变量组成的 元回归方程,有更大的回归平方和。元回归方程,有更大的回归平方和。 逐步回归不仅考虑到按贡献大小逐一挑选重要变量,逐步回归不仅考虑到按贡献大小逐一挑选重要变量,而且还考虑到较早选入回归方程的某些变量,有可能而且还考虑到较早选入回归方程的某些变量,有可能随着其后一些变量的选入而失去原有的重要性,这样随着其后一些变量的选入而失去原有的重要性,这样的变量也应当及时从
5、回归方程中剔除,使回归方程中的变量也应当及时从回归方程中剔除,使回归方程中始终只保留重要的变量。始终只保留重要的变量。1 lll2.5.1 2.5.1 逐步回归算法的形成思路逐步回归算法的形成思路如如 引入方程后,再引入引入方程后,再引入 ,也许由,也许由 的引的引入而入而 的重要性反而变得不重要,应及时剔除。的重要性反而变得不重要,应及时剔除。 假设已有假设已有 个自变量引入回归方程,即已知回个自变量引入回归方程,即已知回归方程是:归方程是:此时该方程相应的总离差平方和记为此时该方程相应的总离差平方和记为21, xx5x5x1xlllxbxbxbby 22110),(),(2121llxxx
6、QxxxUSSS 剩剩回回总总(2.14)2.5.1 2.5.1 逐步回归算法的形成思路逐步回归算法的形成思路2.5.2 2.5.2 引入自变量的依据引入自变量的依据现在在已有的现在在已有的 个自变量所组成的回归方程中再个自变量所组成的回归方程中再引入一个自变量,不妨记为引入一个自变量,不妨记为 ,于,于是引入了一个自变量是引入了一个自变量 的回归方程可表示为的回归方程可表示为现在用式(现在用式(2.15)减去式()减去式(2.14),并注意到),并注意到式(式(2.14)与式()与式(2.15)总离差平方和不变,)总离差平方和不变,可得可得l), 2, 1(mllixi ix),(),(21
7、21ililxxxxQxxxxUS 总总(2.15) ),(),(),(),(21212121illlilxxxxQxxxQxxxUxxxxU 令令于是称于是称 为自变量为自变量 对因变量对因变量 的的方方差贡献差贡献。也就是,如果。也就是,如果 越大,则越大,则 对对 的影响就越大,的影响就越大, 对回归方程就越显重要,对回归方程就越显重要,应该引入。但是应该引入。但是 应大到什么程度,自应大到什么程度,自变量变量 才可被引入方程呢?这就需要给出才可被引入方程呢?这就需要给出 的引入标准(或称引入门坎值)。的引入标准(或称引入门坎值)。),(),(),(212121lillixxxUxxxx
8、UxxxV ),(21lixxxV),(21lixxxVixyyix),(21lixxxVixix统计理论表明,用统计量统计理论表明,用统计量可以检验自变量可以检验自变量 是否可以引入方程。式中,是否可以引入方程。式中, 是样本容量,是样本容量, 是已进入方程的自变量个数。是已进入方程的自变量个数。 对于给定水平对于给定水平 ,查,查 分布表,可得临界分布表,可得临界值值 。如果。如果 ,则表明,则表明 可引入方程;可引入方程;)2, 1()2/(),(1/ ),(21211 lnFlnxxxxQxxxVFilliiixnlmlli, 2, 1 F进进FF 进进FFi 1ix如果如果 ,则说明
9、自变量,则说明自变量 不重要,不重要, 不能引不能引入方程。需要说明的是,实际问题可能入方程。需要说明的是,实际问题可能 有有多个,由于每次只能引入一个变量进入方程,因多个,由于每次只能引入一个变量进入方程,因此在算法上,我们是选最大的此在算法上,我们是选最大的 值所对应的变量值所对应的变量考虑引入,即,先求考虑引入,即,先求然后将它与然后将它与 比较,如比较,如 ,相应的自变量,相应的自变量 入选;如入选;如 ,引入变量的步骤就到此为,引入变量的步骤就到此为止。止。 进进FFi 1ixix进进FFi 1iF1)(max)(1milFFiki 记记进进F进进FFik )()(ikx进进FFik
10、 )(2.5.3 2.5.3 剔除自变量的依据剔除自变量的依据 设已有设已有 个自变量引入回归方程,即已知回归方个自变量引入回归方程,即已知回归方程为程为此时该方程的总离差平方和可表示为此时该方程的总离差平方和可表示为 现在已有的现在已有的 个自变量中剔除一个自变量,不妨个自变量中剔除一个自变量,不妨剔除剔除 ,于是可得剔除自变量,于是可得剔除自变量 后的后的回归方程,记为回归方程,记为lttxbxbxbby 22110),(),(2121llxxxQxxxUSSS 剩剩回回总总llixi, 2 , 1, ixlliiiixbxbxbxbby 1111110(2.17) (2.16)),(),
11、(11211121liiliixxxxxQxxxxxUS 总总),(),(),(111121liillixxxxUxxUxxxV iVixy该方程的总离差平方和记该方程的总离差平方和记为由式(为由式(2.16)与式()与式(2.17)可得)可得这里仍然称这里仍然称 为为 对对 的方差贡献。的方差贡献。 越大说明越大说明 对对 的影响越大,即的影响越大,即 对对 越重要,越重要,当然当然 在方程中就不能被剔除,反之亦然。然而在方程中就不能被剔除,反之亦然。然而 应小到什么程度,自变量应小到什么程度,自变量 才考虑从方程中被剔才考虑从方程中被剔除呢?这就需要给出除呢?这就需要给出 的剔除标准(或称
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 回归 分析 多元 逐步回归
限制150内