非线性最小二乘.ppt
《非线性最小二乘.ppt》由会员分享,可在线阅读,更多相关《非线性最小二乘.ppt(19页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、非线性最小二乘估计非线性最小二乘估计变量之间的关系更多地表现为非线性特征。变量之间的关系更多地表现为非线性特征。线性模型作为基础模型是非线性的近似,即任何非线性模型都可以通过线性模型来近似表达。比如,模型通过泰勒级数展开表述为模型 的线性近似表达式为但线性模型对非线性模型的近似程度取决于高阶部但线性模型对非线性模型的近似程度取决于高阶部分是否充分小。分是否充分小。即使在样本内线性模型能够较好地拟合数据,也不能准确地体现变量的结构关系。非线性模型中,x对y 的边际影响(或弹性)是变化的;而线性模型中,x对y 的边际影响(或弹性)是常数。很多情况下,线性模型与非线性模型对边际影响或弹性的估计存在非
2、常大的差异。另外,利用线性模型拟合非线性数据存在潜在的危险,即区间外预测会存在越来越大的误差。因此,正确设定模型的形式是进行准确推断和预测的重要环节。对于一般的回归模型,如以下形式的模型,(1)OLS一般不能得到其解析解。一般不能得到其解析解。比如,运用OLS方法估计模型(1),令S(B)表示残差平方和,即 (2)最小化S(B),即根据一阶条件可以得到以模型 为例,其一阶条件为上述方程组没有解析解,需要一般的最优化方法。很多数值最优化算法都可以完成这一类任务,这些方法的总体思路是一样的。即,从初始值出发,按照一定的方向搜寻更好的估计量,并反复迭代直至收敛。各种不同的最优化算法的差异主要体现在三
3、个方面:搜寻的方向、估计量变化的幅度和迭代停止法则。非线性最小二乘法的思路是,通过泰勒级数将均值函数展开为线性模型。即,只包括一阶展开式,高阶展开式都归入误差项。然后再进行OLS回归,将得到的估计量作为新的展开点,再对线性部分进行估计。如此往复,直至收敛。普通最小二乘原理普通最小二乘原理 残差平方和残差平方和 取极小值的取极小值的一阶条件一阶条件 如何求解非如何求解非线性方程?线性方程?高斯牛顿高斯牛顿(Gauss-Newton)(Gauss-Newton)迭代法迭代法 高斯牛顿迭代法的原理高斯牛顿迭代法的原理 对原始模型展开泰勒级数,取一阶近似值对原始模型展开泰勒级数,取一阶近似值 构造并估
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 非线性 最小
限制150内