第10章多元线性回归.pptx
《第10章多元线性回归.pptx》由会员分享,可在线阅读,更多相关《第10章多元线性回归.pptx(70页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、第 10 章 多元线性回归10.110.1 多元线性回归模型多元线性回归模型 10.210.2 拟合优度和显著性检验拟合优度和显著性检验10.3 10.3 多重共线性及其处理多重共线性及其处理10.4 10.4 利用回归方程进行预测利用回归方程进行预测10.5 10.5 虚拟自变量的回归虚拟自变量的回归第1页/共70页2011年学习目标l多元线性回归模型、回归方程与估计的回归方程l回归方程的拟合优度与显著性检验l多重共线性问题及其处理l利用回归方程进行预测l虚拟自变量的回归l用Excel和SPSS进行回归分析第2页/共70页2011年身高受那些因素影响?决定身高的因素是什么?父母遗传、生活环境
2、、体育锻炼,还是以上各因素的共同作用2004年12月,中国人民大学国民经济管理系02级的两位学生,对人大在校生进行了问卷调查。问卷采取随机发放、当面提问当场收回调查的样本量为98人,男性55人,女性43人。调查内容包括被调查者的身高(单位:cm)、性别、其父母身高、是否经常参加体育锻炼、家庭所在地是在南方还是在北方等等。部分数据如教材中的表所示(1代表男性,0代表女性)父亲身高、母亲身高、性别是不是影响子女身高的主要因素呢?如果是,子女身高与这些因素之间能否建立一个线性关系方程,并根据这一方程对身高做出预测?这就是本章将要讨论的多元线性回归问题 第3页/共70页10.1 多元线性回归模型 10
3、.1.1 回归模型与回归方程 10.1.2 参数的最小二乘估计第 10 章 多元线性回归第4页/共70页10.1.1 回归模型与回归方程10.1 多元线性回归模型第5页/共70页2011年多元回归模型(multiple linear regression model)1.一个因变量与两个及两个以上自变量的回归2.描述因变量 y 如何依赖于自变量 x1,x2,xk 和误差项 的方程,称为多元回归模型3.涉及 k 个自变量的多元线性回归模型可表示为 0 0 ,1 1,k k是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量 y y 是是x x1,1,,x x2 2 ,x xk k 的线
4、性函数加上误差项的线性函数加上误差项 包包含含在在y y里里面面但但不不能能被被k k个个自自变变量量的的线线性性关关系系所解释的变异性所解释的变异性第6页/共70页2011年多元回归模型(基本假定)1.正态性。误差项是一个服从正态分布的随机变量,且期望值为0,即N(0,2)2.方差齐性。对于自变量x1,x2,xk的所有值,的方差 2都相同3.独立性。对于自变量x1,x2,xk的一组特定值,它所对应的与任意一组其他值所对应的不相关第7页/共70页2011年多元线性回归方程(multiple linear regression equation)1.描述因变量 y 的平均值或期望值如何依赖于自变
5、量 x1,x2,xk的方程2.多元线性回归方程的形式为 E(y)=0+1 x1+2 x2+k xk 1 1,k k称为偏回归系数称为偏回归系数 i i 表表示示假假定定其其他他变变量量不不变变,当当 x xi i 每每变变动一个单位时,动一个单位时,y y 的平均变动值的平均变动值第8页/共70页2011年二元回归方程的直观解释二元线性回归模型二元线性回归模型二元线性回归模型(观察到的观察到的观察到的y yy)回归面回归面回归面 0 00 i iix x x1 11y y yx x x2 22(x x x1 11,x x x2 22)第9页/共70页2011年估计的多元线性回归的方程(esti
6、mated multiple linear regression equation)是是 估计值估计值 是是 y y 的估计值的估计值1.用样本统计量 估计回归方程中的 参数 时得到的方程2.由最小二乘法求得3.一般形式为第10页/共70页10.1.2 参数的最小二乘估计10.1 多元线性回归模型第11页/共70页2011年参数的最小二乘估计2.求求解解各回归参数的标准方程如下各回归参数的标准方程如下1.使使因因变变量量的的观观察察值值与与估估计计值值之之间间的的离离差差平平方方和和达到最小来求得达到最小来求得 。即。即第12页/共70页2011年参数的最小二乘法(例题分析)【例10-1】一家
7、大型商业银行在多个地区设有分行,为弄清楚不良贷款形成的原因,抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程,并解释各回归系数的含义 进行回归第13页/共70页2011年参数的最小二乘估计(例题分析)F F检验检验t t 检验检验偏回归系数偏回归系数第14页/共70页 10.2 拟合优度和显著性检验 10.2.1 回归方程的拟合优度 10.2.2 显著性检验第 10 章 多元线性回归第15页/共70页10.2.1 回归方程的拟合优度10.2 拟合优度和显著性检验第16页/共70页2011年
8、多重判定系数(multiple coefficient of determination)1.回归平方和占总平方和的比例2.计算公式为3.因变量取值的变差中,能被估计的多元回归方程所解释的比例 第17页/共70页2011年修正多重判定系数(adjusted multiple coefficient of determination)1.用样本量n和自变量的个数k去修正R2得到 2.计算公式为3.避免增加自变量而高估 R24.意义与 R2类似5.数值小于R2输出结果输出结果第18页/共70页2011年多重相关系数(multiple correlation coefficient)1.多重判定系数
9、的平方根R2.反映因变量y与k个自变量之间的相关程度3.实际上R度量的是因变量的观测值 与由多元回归方程得到的预测值 之间的关系强度,即多重相关系数R等于因变量的观测值 与估计值 之间的简单相关系数即 (一元相关系数r也是如此,即 。读者自己去验证)第19页/共70页2011年估计标准误差 Se1.对误差项的标准差 的一个估计值2.衡量多元回归方程的拟合优度3.计算公式为输出结果输出结果第20页/共70页10.2.2 显著性检验10.2 拟合优度和显著性检验第21页/共70页2011年线性关系检验1.检验因变量与所有自变量之间的线性关系是否显著2.也被称为总体的显著性检验3.检验方法是将回归均
10、方(MSR)同残差均方(MSE)加以比较,应用 F 检验来分析二者之间的差别是否显著如果是显著的,因变量与自变量之间存在线性关系如果不显著,因变量与自变量之间不存在线性关系第22页/共70页2011年线性关系检验1.提出假设H0:12k=0 线性关系不显著H1:1,2,k至少有一个不等于02.2.计算计算检验统计量检验统计量F F3.确定确定显著性水平显著性水平 和分子自由度和分子自由度k k、分母自由度、分母自由度n-n-k k-1-1找出临界值找出临界值F F 4.4.作出作出决策:若决策:若F F F F ,拒绝,拒绝H H0 0输出结果输出结果第23页/共70页2011年回归系数的检验
11、1.线性关系检验通过后,对各个回归系数有选择地进行一次或多次检验2.究竟要对哪几个回归系数进行检验,通常需要在建立模型之前作出决定3.对回归系数检验的个数进行限制,以避免犯过多的第类错误(弃真错误)4.对每一个自变量都要单独进行检验5.应用 t 检验统计量第24页/共70页2011年回归系数的检验(步骤)1.提出假设H0:i=0 (自变量 xi 与 因变量 y 没有线性关系)H1:i 0 (自变量 xi 与 因变量 y有线性关系)2.计算检验的统计量 t3.确定显著性水平,并进行决策 t t t t,拒绝,拒绝H H0 0;t t t t,不拒绝,不拒绝H H0 0输出结果输出结果第25页/共
12、70页2011年回归系数的推断(置信区间)回归系数在(1-)%置信水平下的置信区间为 回归系数的回归系数的抽样标准差抽样标准差输出结果输出结果第26页/共70页 10.3 多重共线性及其处理 10.3.1 多重共线性及其识别 10.3.2 变量选择与逐步回归第 10 章 多元线性回归第27页/共70页10.3.1 多重共线性及其识别10.3 多重共线性及其处理第28页/共70页2011年多重共线性(multicollinearity)1.回归模型中两个或两个以上的自变量彼此相关2.多重共线性带来的问题有 可能会使回归的结果造成混乱,甚至会把分析引入歧途 可能对参数估计值的正负号产生影响,特别是
13、各回归系数的正负号有可能同预期的正负号相反 输出结果输出结果第29页/共70页2011年多重共线性的识别1.检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数,并对各相关系数进行显著性检验若有一个或多个相关系数显著,就表示模型中所用的自变量之间相关,存在着多重共线性2.如果出现下列情况,暗示存在多重共线性模型中各对自变量之间显著相关当模型的线性关系检验(F检验)显著时,几乎所有回归系数的t检验却不显著 回归系数的正负号与预期的相反输出结果输出结果第30页/共70页2011年多重共线性的处理1.将一个或多个相关的自变量从模型中剔除,使保留的自变量尽可能不相关2.如果要在模型中保
14、留所有的自变量,则应避免根据 t 统计量对单个参数进行检验对因变量值的推断(估计或预测)的限定在自变量样本值的范围内输出结果输出结果第31页/共70页2011年提 示1.在建立多元线性回归模型时,不要试图引入更多的自变量,除非确实有必要2.在社会科学的研究中,由于所使用的大多数数据都是非试验性质的,因此,在某些情况下,得到的结果往往并不令人满意,但这不一定是选择的模型不合适,而是数据的质量不好,或者是由于引入的自变量不合适 第32页/共70页2011年奥克姆剃刀(Occams Razor)1.模型选择可遵循奥克姆剃刀的基本原理最好的科学模型往往最简单,且能解释所观察到的实事2.对于线性模型来说
15、,奥克姆剃刀可表示成简约原则一个模型应包括拟合数据所必需的最少变量3.如果一个模型只包含数据拟合所必需的变量,这个模型就称为简约模型(parsimonious model)实际中的许多多元回归模型都是对简约模型的扩展第33页/共70页10.3.2 变量选择与逐步回归10.3 多重共线性及其处理第34页/共70页2011年变量选择过程1.在建立回归模型时,对自变量进行筛选2.选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时,是否使得残差平方和(SSE)有显著地减少。如果增加一个自变量使SSE的减少是显著的,则说明有必要将这个自变量引入回归模型,否则,就没有必要将
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 10 多元 线性 回归
限制150内