应用数理统计回归分析课件.ppt

9 回归分析回归分析 1回归分析回归分析现实世界中大多数现象表现为相关现实世界中大多数现象表现为相关关系，人们通过大量观察，将现象关系，人们通过大量观察，将现象之间的相关关系抽象概括为函数关之间的相关关系抽象概括为函数关系，并用函数形式或模型来描述与系，并用函数形式或模型来描述与推断现象间的具体变动关系，用一推断现象间的具体变动关系，用一个或一组变量的变化来估计与推算个或一组变量的变化来估计与推算另一个变量的变化。这种分析方法另一个变量的变化。这种分析方法称为回归分析。称为回归分析。29.1 一元线性回归一元线性回归一一、一元正态线性回归模型、一元正态线性回归模型 设随机变量设随机变量Y，对于，对于x的每一个值，的每一个值，Y都有它的分布。都有它的分布。Y的均值是的均值是x的函的函数，设数，设E(Y)=(x)，(x)叫做叫做Y关于关于x的回归。的回归。(x)可以通过样本进行估可以通过样本进行估计。计。3一元线性回归一元线性回归模型模型 对于对于x的一组值的一组值x1,x2,xn作作 独立试验，对独立试验，对Y 得出得出n个观察结果个观察结果 y1,y2,yn，得到容量为，得到容量为n的样本的样本 (x1,y1),(x2,y2),(xn,yn)。利。利用样本估计用样本估计(x)。首先从散点图看。首先从散点图看出出y与与x的关系的关系,从而推测出从而推测出(x)的形的形式。若式。若(x)为线性函数，设为线性函数，设(x)=a+bx，估计，估计(x)的问题称为一元的问题称为一元线性回归问题。线性回归问题。4 由样本到由样本到a、b的估计的估计 ，对，对给定的给定的x，取，取 作为作为 (x)=a+bx的估计，称的估计，称 为为Y关关于于x的线性回归方程，其图形称为的线性回归方程，其图形称为回归直线。回归直线。一元线性回归一元线性回归模型模型6最小二乘估计二二、最小二乘估计、最小二乘估计对样本对样本(x1,y1),(x2,y2),(xn,yn)，有，有考虑考虑a、b的函数的函数7最小二乘估计 用最小二乘法估计用最小二乘法估计a、b，使，使分别取分别取Q关于关于a、b的偏导数，并令的偏导数，并令其为其为0，有，有8 最小二乘估计正规方程组为正规方程组为由于方程组系数行列式由于方程组系数行列式10最小二乘估计方程组有唯一解方程组有唯一解11最小二乘估计所求线性回归方程为所求线性回归方程为由由 知知所以所以对于一组样本观察值，回归直线通过对于一组样本观察值，回归直线通过散点图的几何中心散点图的几何中心132的点估计 是是2的无偏估计的无偏估计Qe的简单计算公式：的简单计算公式：15 16线性假设的显著性检验线性假设的显著性检验可以证明可以证明从而从而18线性假设的显著性检验线性假设的显著性检验在在H0成立时，取统计量为成立时，取统计量为给定显著性水平给定显著性水平，H0的拒绝域为的拒绝域为计算出计算出|t|的值，查出的值，查出19线性假设的显著性检验线性假设的显著性检验 若若 ，则拒绝，则拒绝H0；否则就；否则就接受接受H0。拒绝拒绝H0，意味着回归效果，意味着回归效果是显著的。在回归效果显著的情况是显著的。在回归效果显著的情况下，对回归系数作区间估计，可得下，对回归系数作区间估计，可得出出b的置信度为的置信度为1-的置信区间为的置信区间为20五、线性回归的方差分析五、线性回归的方差分析(F(F检验法检验法)21线性回归的方差分析线性回归的方差分析回归平方和回归平方和残差平方和残差平方和Syy自由度为自由度为n-1，Qe自由度为自由度为n-2，S回回自由度为自由度为122线性回归的方差分析线性回归的方差分析原假设原假设H0：b=0，备择假设备择假设 H1：b 0选统计量选统计量24方差分析表方差分析表方差来源方差来源平方和平方和自由度自由度均方均方F比比回归回归S回回1S回回/1残差残差Qen-2Se/(n-1)总和总和Qyyn-125线性回归的方差分析线性回归的方差分析对检验水平对检验水平，查表得，查表得F(1,n-2)，计算出计算出F值。值。若若FF(1,n-2)，则拒绝，则拒绝H0，说明，说明回归效果显著；回归效果显著；若若F2.306，即，即|t|值在值在H0的拒绝域内，的拒绝域内，故拒绝故拒绝H0，说明回归效果是显著的。，说明回归效果是显著的。b的置信度为的置信度为0.95(=0.05)的置信区间为的置信区间为32(4)已求出已求出 ，所以，所以已求出已求出Syy=1932.1，Qe=7.466 7.5Syy的自由度为的自由度为9，Qe的自由度为的自由度为8列方差分析表：列方差分析表：方差来源方差来源平方和平方和自由度自由度均方均方F比比回归回归1924.611924.62047.4残差残差7.580.94总和总和1932.1933对对=0.01，查出，查出F0.01(1,8)=11.26因为因为2047.3 11.26，所以回归效果是，所以回归效果是非常显著的。非常显著的。六、利用回归方程进行预报（预测）六、利用回归方程进行预报（预测）回归问题中回归问题中Y是随机变量，是随机变量，x是普是普通变量。回归方程通变量。回归方程 是是Y对对x的依赖关系的一个估计。对给定的的依赖关系的一个估计。对给定的x值，用回归方程确定值，用回归方程确定Y的值，叫预的值，叫预报。报。34利用回归方程进行预报利用回归方程进行预报1.1.点预报点预报 回归方程为回归方程为 ，对任给，对任给x=x0，用，用 作作Y的预报值，记为的预报值，记为 ，这就是点预报。，这就是点预报。35利用回归方程进行预报利用回归方程进行预报2.2.区间预报区间预报 给定给定x=x0，Y的取值有一个置信的取值有一个置信度为度为1-的范围，即置信区间，称为的范围，即置信区间，称为预报区间。预报区间。设在设在x=x0点对随机变量点对随机变量Y的观察的观察结果为结果为y0。36利用回归方程进行预报利用回归方程进行预报在在x=x0点，点，的预报值为的预报值为可以证明可以证明3738利用回归方程进行预报利用回归方程进行预报对于给定的置信度对于给定的置信度1-1-，有，有其中其中由此得出由此得出y0 0的置信度为的置信度为(1-1-)的预报区的预报区间为间为39对任意的对任意的x，回归直线，回归直线y的下限：的下限：y的上限：的上限：40当样本容量当样本容量n较大时，若取较大时，若取x0在在x附近，附近，则则y0的置信度为的置信度为1-的预报区间为的预报区间为41七、控制问题七、控制问题要求要求y 以置信度以置信度1-在在 内取值，内取值，x控制在控制在 内，使其中的内，使其中的x所对应所对应的观察值的观察值y满足满足42控制问题控制问题43对给出的对给出的 ，以置信度，以置信度1-,有有由此解出由此解出x即为即为x 1 1由此解出由此解出x即为即为x 2 2当样本容量当样本容量n较大时，较大时，若取若取x0在在x附近，则附近，则这时这时44解出解出对对45八、全相关系数八、全相关系数R46全相关系数全相关系数RR2反映了原始数据yi(I=1,2,n)与其拟合值之间的相关系数的平方。当回归效果特别好时，R应接近1，表示yi与几乎重合。当回归效果特别不好时，R应接近于0，表示yi与完全不相关。R是回归效果的一个很好的度量。47