【数学】最小二乘估计第一课时课件-2023-2024学年高二下学期数学人教A版（2019）选择性必修第三册.pptx

第一课时第一课时 (最小二乘估计最小二乘估计)一、知识回顾一、知识回顾 我们称上式为我们称上式为Y Y关于关于x x的的一元线性回归模型一元线性回归模型其中，其中，Y Y称为称为因变因变量量或或响应变量响应变量，x x称为称为自变量自变量或或解释变量解释变量;a;a和和b b为模型的未知参数，为模型的未知参数，a a称为截距参数称为截距参数，b b称为斜率称为斜率参数参数;e;e是是Y Y与与b bx xa a之间的之间的随机误差随机误差.模模型中的型中的Y Y也是随机变量，其值虽然不能由变量也是随机变量，其值虽然不能由变量x x的值确定的值确定,但是却能但是却能表示为表示为bxbxa a与与e e的和的和(叠加叠加)，前一部分由，前一部分由x x所确定，后一部分是随所确定，后一部分是随机的机的.如果如果e=0e=0，那么，那么Y Y与与x x之间的关系就可用一元线性函数模型来之间的关系就可用一元线性函数模型来描述描述.在一元线性回归模型中在一元线性回归模型中,表达式表达式Y=bY=bx xa+ea+e刻画的是变量刻画的是变量Y Y与变与变量工之间的线性相关关系，其中参数量工之间的线性相关关系，其中参数和和b b未知，需要根据成对样未知，需要根据成对样本数据进行估计本数据进行估计.由模型的建立过程可知，参数由模型的建立过程可知，参数a a和和b b刻画了变量刻画了变量Y Y与变量与变量x x的线性关系，因此通过成对样本数据估计这两个参数，相的线性关系，因此通过成对样本数据估计这两个参数，相当于寻找一条适当的直线，使表示成对样本数据的这些散点在整当于寻找一条适当的直线，使表示成对样本数据的这些散点在整体上与这条直线最接近体上与这条直线最接近.二、探究新知二、探究新知 利用利用下面下面父亲身高与儿子身高的父亲身高与儿子身高的散点图找出一条直线，使各散散点图找出一条直线，使各散点在整体上与此直线尽可能接近点在整体上与此直线尽可能接近.二、探究新知二、探究新知 有的同学可能会想，可以采用测量的方法，先画出一条直线，有的同学可能会想，可以采用测量的方法，先画出一条直线，测量出各点与它的距离，然后移动直线，到达一个使距离的和最小测量出各点与它的距离，然后移动直线，到达一个使距离的和最小的位置的位置.测量出此时的斜率和截距测量出此时的斜率和截距,就可得到一条直线就可得到一条直线,如如上上图所示图所示.父亲身高父亲身高/cm/cm185185165165170170175175180180160160185185165165170170175175180180160160190190儿子身高儿子身高/cm/cm二、探究新知二、探究新知 有的同学可能会想，可以在图中选择这样的两点画直线，使得有的同学可能会想，可以在图中选择这样的两点画直线，使得直线两侧的点的个数基本相同直线两侧的点的个数基本相同，把这条直线作为所求直线把这条直线作为所求直线，如如上上图图所示所示.父亲身高父亲身高/cm/cm185185165165170170175175180180160160185185165165170170175175180180160160190190儿子身高儿子身高/cm/cm 利用利用下面下面父亲身高与儿子身高的父亲身高与儿子身高的散点图找出一条直线，使各散散点图找出一条直线，使各散点在整体上与此直线尽可能接近点在整体上与此直线尽可能接近.二、探究新知二、探究新知 还有的同学会想，在散点图中多取几对点，确定出几条直线的还有的同学会想，在散点图中多取几对点，确定出几条直线的方程，再分别求出这些直线的斜率、截距的平均数，将这两个平均方程，再分别求出这些直线的斜率、截距的平均数，将这两个平均数作为所求直线的斜率和截距如数作为所求直线的斜率和截距如上上图所示图所示.父亲身高父亲身高/cm/cm185185165165170170175175180180160160185185165165170170175175180180160160190190儿子身高儿子身高/cm/cm 利用利用下面下面父亲身高与儿子身高的父亲身高与儿子身高的散点图找出一条直线，使各散散点图找出一条直线，使各散点在整体上与此直线尽可能接近点在整体上与此直线尽可能接近.二、探究新知二、探究新知 先进一步明确我们面临的任务先进一步明确我们面临的任务:从成对样本数据出发，用数学从成对样本数据出发，用数学的方法刻画的方法刻画“从整体上看从整体上看,各散点与直线最接近各散点与直线最接近”.”.同学们不妨去实践一下同学们不妨去实践一下,看看这些方法是不是真的可行看看这些方法是不是真的可行.上面这些方法虽然有一定的道理上面这些方法虽然有一定的道理,但比较难操作，我们需要另但比较难操作，我们需要另辟蹊径辟蹊径.通常，我们会想到利用点到直线通常，我们会想到利用点到直线y=by=bx x+a+a的的“距离距离”来刻画散点来刻画散点与该直线的接近程度，然后用所有与该直线的接近程度，然后用所有“距离距离”之和刻画所有样本观测之和刻画所有样本观测数据与该直线的接近程度数据与该直线的接近程度.我们设满足一元线性回归模型的两个变我们设满足一元线性回归模型的两个变量的量的n n对样本数据为对样本数据为(x x1 1，y y1 1)，(x x2 2，y y2 2)，(x xn n，y yn n).由由y yi i=bx=bxi i+a+ae ei i(i=1(i=1，2 2，n)n)，得，得|y|yi i-(bx-(bxi i+a)|=|e+a)|=|ei i|显然显然|e|ei i|越小越小，表示表示点点(x(xi i,y,yi i)与点与点(x(xi i,bx,bxi i+a)+a)的的“距离距离”越小越小,即样本数据点离直线即样本数据点离直线y=bx+ay=bx+a的竖直距离越的竖直距离越小小,如如右右图所示特别地图所示特别地,当当e ei i=0=0时时，表示表示点点(x(xi i，y yi i)在这条直线上在这条直线上.二、探究新知二、探究新知 因此，可以用这因此，可以用这n n个竖直距离之和个竖直距离之和|yi-(bxyi-(bxi i+a)|+a)|来刻画各样本观测数据与直线来刻画各样本观测数据与直线y=bxy=bxa a的的“整体接近程度整体接近程度”.”.在实际应用中，因为绝对值使得计算不方便，所以人们通常用在实际应用中，因为绝对值使得计算不方便，所以人们通常用各散点到直线的竖直距离的平方之和各散点到直线的竖直距离的平方之和 Q=Q=(y yi i-ba-bai i-a)a)2 2来刻画来刻画“整体接近程度整体接近程度”.”.在上式中，在上式中，x xi i、y yi i(i=1(i=1，2 2，3 3，n)n)是已知的成对样本数据，是已知的成对样本数据，所以所以Q Q由由a a和和b b所决定，即它是所决定，即它是a a和和b b的函数的函数.因为因为Q Q还可以表示为还可以表示为 e ei i2 2，即它是随机误差的平方和，这个和当然越小越好，所以我们取使即它是随机误差的平方和，这个和当然越小越好，所以我们取使Q Q达到最小的达到最小的a a和和b b的值，作为截距和斜率的估计值的值，作为截距和斜率的估计值.下面利用成对样本数据求使下面利用成对样本数据求使Q Q取最小值的取最小值的a a，b.b.记记 .因为因为注意到注意到二、探究新知二、探究新知所以所以 上式右边各项均为非负数，且前上式右边各项均为非负数，且前n n项与项与a a无关无关.所以，要使所以，要使Q Q取取到最小值，后一项的值应为到最小值，后一项的值应为0 0，即，即 .此时此时 上式是关于上式是关于b b的二次函数，因此要使的二次函数，因此要使Q Q取得最小值，当且仅当取得最小值，当且仅当b b的取值为的取值为二、探究新知二、探究新知 综上，当综上，当a a、b b的取值为的取值为 时，时，Q Q达到最小达到最小.二、探究新知二、探究新知三、三、最小二乘法最小二乘法 将将 称为称为Y Y关于关于x x的的经验回归方程经验回归方程，也称，也称经验回归函数经验回归函数或或经验回归公式经验回归公式,其图形称为其图形称为经验回归直线经验回归直线.这种求经验回归方程这种求经验回归方程的方法叫做的方法叫做最小二乘法最小二乘法,求得的求得的 叫做叫做b b、a a的最小二乘估计的最小二乘估计.其中其中这里的这里的“二乘二乘”是平方的意思是平方的意思.编号编号1 12 23 34 45 56 67 78 89 910101111121213131414父亲身高父亲身高/cm/cm174174 170170 173173 169169 182182 172172 180180 172172 168168 166166 182182 173173 164164 180180儿子身高儿子身高/cm/cm176176 176176 170170 170170 185185 176176 178178 174174 170170 168168 178178 172172 165165 182182 对于对于前一节前一节父亲身高与儿子身高父亲身高与儿子身高表表格格中的数据中的数据(如下如下)，利用，利用公式公式上面上面可以计算出可以计算出 ，得到儿子身高，得到儿子身高Y Y关于关于父亲身高父亲身高x x的经验回归方程为的经验回归方程为 相应的经验回归直线如相应的经验回归直线如下下图所示图所示：父亲身高父亲身高/cm/cm185185165165170170175175180180160160185185165165170170175175180180160160190190儿子身高儿子身高/cm/cm 利用统计软件求利用统计软件求经验回归模型经验回归模型,Excel,Excel 软件可以用数据分析软件可以用数据分析中的中的“回归回归”分析工分析工具或通过具或通过“添加趋势添加趋势线线”得到得到;R;R软件可以软件可以用函数用函数lmlm计算参数的计算参数的最小二乘估计结果最小二乘估计结果.三、三、最小二乘法最小二乘法 显然不一定，因为还有其他影响儿子身高的因素，父亲身高不显然不一定，因为还有其他影响儿子身高的因素，父亲身高不能完全决定儿子身高能完全决定儿子身高.不过，我们可以作出推测，当父亲身高为不过，我们可以作出推测，当父亲身高为176 176 cmcm时，儿子身高一般在时，儿子身高一般在177cm177cm左右左右.当当x=176x=176时，时，177.177.如果一位父亲的身高为如果一位父亲的身高为176 cm176 cm，他儿子长，他儿子长大成人后的身高一定是大成人后的身高一定是177cm177cm吗吗?为什么为什么?实际上，如果把这所学校父亲实际上，如果把这所学校父亲身高为身高为176cm176cm的所有儿子身高作为的所有儿子身高作为一个子总体，那么一个子总体，那么177cm177cm是这个子是这个子总体的均值的估计值总体的均值的估计值.英国著名统计学家英国著名统计学家高尔顿高尔顿(F.Galton(F.Galton，18221911)18221911)把这种后把这种后代的身高向中间值靠近代的身高向中间值靠近的趋势称为的趋势称为“回归现象回归现象”、后来，人们把由一、后来，人们把由一个变量的变化去推测另个变量的变化去推测另一个变量的变化的方法一个变量的变化的方法称为回归分析称为回归分析.四、四、探究新知探究新知 这里的经验回归方程这里的经验回归方程 ，其斜率可以解释为，其斜率可以解释为父亲身高每增加父亲身高每增加1cm1cm，其儿子身高平均增加，其儿子身高平均增加0.839cm.0.839cm.分析模型还可分析模型还可以发现，高个子父亲有生高个子儿子的趋势以发现，高个子父亲有生高个子儿子的趋势,但一群高个子父亲的但一群高个子父亲的儿子们的平均身高要低于父亲们的平均身高，例如儿子们的平均身高要低于父亲们的平均身高，例如 x=x=185(cm)185(cm)，则，则 =184.172(cm);=184.172(cm);矮个子父亲有生矮个子儿子的趋势矮个子父亲有生矮个子儿子的趋势,但一群矮个子父亲的儿子但一群矮个子父亲的儿子们的平均身高要高于父亲们的平均身高，例如们的平均身高要高于父亲们的平均身高，例如 x=170 x=170(cm)(cm)，则，则 =171.587171.587(cm)(cm).根据模型，父亲身高为根据模型，父亲身高为多少时，长大成人的儿子的多少时，长大成人的儿子的平均身高与父亲的一样平均身高与父亲的一样?你你怎么看这个判断怎么看这个判断?四、四、探究新知探究新知 对于响应变量对于响应变量Y Y，通过观测得到的数据称为，通过观测得到的数据称为观测值观测值，通过经验，通过经验回归方程得到的回归方程得到的 称为称为预测值预测值，观测值减去预测值称为，观测值减去预测值称为残差残差.残差残差是随机误差的估计结果，通过对残差的分析可以判断模型刻画数据是随机误差的估计结果，通过对残差的分析可以判断模型刻画数据的效果，以及判断原始数据中是否存在可疑数据等，这方面工作称的效果，以及判断原始数据中是否存在可疑数据等，这方面工作称为残差分析为残差分析.例如例如,对于对于前一节前一节父亲身高与儿子身高父亲身高与儿子身高表表格格中的数据中的数据(如下如下)中中的第的第6 6个观测，父亲身高为个观测，父亲身高为172cm172cm，其儿子身高的观测值为，其儿子身高的观测值为 y y6 6=176(cm),176(cm),编号编号1 12 23 34 45 56 67 78 89 910101111121213131414父亲身高父亲身高/cm/cm174174 170170 173173 169169 182182 172172 180180 172172 168168 166166 182182 173173 164164 180180儿子身高儿子身高/cm/cm176176 176176 170170 170170 185185 176176 178178 174174 170170 168168 178178 172172 165165 182182 预测值为预测值为 6 6=0.839172+28.9570.839172+28.957=173.265(cm)173.265(cm)，残差为残差为 176-173.265=2.735(cm).176-173.265=2.735(cm).五、五、残差残差 类似地类似地,可以得到其他的残差，如下表所示可以得到其他的残差，如下表所示.五、五、残差残差 观察上表可以看到，残差有正观察上表可以看到，残差有正有负有负,残差的绝对值最大是残差的绝对值最大是4.413.4.413.观察残差的散点图可以发现，残观察残差的散点图可以发现，残差比较均匀地分布在横轴的两边差比较均匀地分布在横轴的两边.说明残差比较符合一元线性回归说明残差比较符合一元线性回归模型的假定，是均值为模型的假定，是均值为0 0、方差为、方差为2 2的随机变量的观测值的随机变量的观测值.可见，可见，通过观察残差图可以直观判断模通过观察残差图可以直观判断模型是否满足一元线性回归模型的假设型是否满足一元线性回归模型的假设.为了使数据更加直观，用父亲身高作为横坐标，残差作为纵为了使数据更加直观，用父亲身高作为横坐标，残差作为纵坐标，可以画出残差图，如下图所示坐标，可以画出残差图，如下图所示.一般地，建立经验回归方程后，通常需要对模型刻画数据的一般地，建立经验回归方程后，通常需要对模型刻画数据的效果进行分析效果进行分析.借助残差分析还可以对模型进行改进，使我们能根借助残差分析还可以对模型进行改进，使我们能根据改进模型作出更符合实际的预测与决策据改进模型作出更符合实际的预测与决策.五、五、残差残差 观察下图中四幅残差图观察下图中四幅残差图,你认为哪一个残差满足一元线性回归你认为哪一个残差满足一元线性回归模型中对随机误差的假定模型中对随机误差的假定?五、五、残差残差 根据一元线性回归模型中对随机误差的假定，残差应是均值根据一元线性回归模型中对随机误差的假定，残差应是均值为为0 0、方差为、方差为2 2的随机变量的观测值的随机变量的观测值.在上图中，图在上图中，图(1)(1)显示残差与显示残差与观测时间有线性关系，应将时间变量纳入模型观测时间有线性关系，应将时间变量纳入模型;图（图（2)2)显示残差与显示残差与观测时间有非线性关系，应在模型中加人时间的非线性函数部分观测时间有非线性关系，应在模型中加人时间的非线性函数部分;图图(3(3)说明残差的方差不是一个常数，随观测时间变大而变大说明残差的方差不是一个常数，随观测时间变大而变大;图图(4)(4)的残差比较均匀地分布在以取值为的残差比较均匀地分布在以取值为0 0的横轴为对称轴的水平带的横轴为对称轴的水平带状区域内只有图状区域内只有图(4 4)满足一元线性回归模型对随机误差的假设满足一元线性回归模型对随机误差的假设.五、五、残差残差例例 经验表明，一般树的胸径经验表明，一般树的胸径(树的主干在地面以上树的主干在地面以上1.3 m1.3 m处的直径处的直径)越大，树就越高越大，树就越高.由于测量树高比测量胸径困难，因此研究人由于测量树高比测量胸径困难，因此研究人 员希望由胸径预测树高员希望由胸径预测树高.在研究树高与胸径之间的关系时，某在研究树高与胸径之间的关系时，某 林场收集了某种树的一些数据林场收集了某种树的一些数据(如下如下表表)，试根据这些数据建立，试根据这些数据建立 树高关于胸径的经验回归方程树高关于胸径的经验回归方程.六、精典例题六、精典例题七、课堂小结七、课堂小结 将将 称为称为Y Y关于关于x x的的经验回归方程经验回归方程，也称，也称经验回归函数经验回归函数或或经验回归公式经验回归公式,其图形称为其图形称为经验回归直线经验回归直线.这种求经验回归方程这种求经验回归方程的方法叫做的方法叫做最小二乘法最小二乘法,求得的求得的 叫做叫做b b、a a的最小二乘估计的最小二乘估计.其中其中八、巩固提升八、巩固提升课堂练习课堂练习:第第113113页练习第页练习第1 1、2 2、3 3、4 4、5 5题题课堂作业课堂作业:第第120120页页习题习题8.28.2第第2 2、3 3题题