最速下降法.ppt
《最速下降法.ppt》由会员分享,可在线阅读,更多相关《最速下降法.ppt(22页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、第一节、最速下降法其中函数f(x)具有一阶连续偏导数。定义 对于上述问题,设 ,若存在 ,使得对一切 ,且 ,都有 ,则称X*是f(X)在 上的局部极小值点(局部最优解)特别地当 时,若 ,则称X*是f(X)在D上的严格局部极小值点(严格局部最优解)考虑:从任意一个点出发,找一个方向,沿着该方向得到另一个点,使得目标函数值下降,直至得到最优解。1、沿着什么方向目标函数值会下降?需要解决:2、沿着选定的方向前进多少最合适?负梯度方向下降最快选一个合适的步长3、最优解的刻画 n算法理论基础给定一个解,如果是局部最优解,则有从这个定理,得到极值点的必要条件。(即,局部最优解必定具有的性质).反之,命
2、题不成立,即梯度为零的点不一定是极值点。梯度为零的点称为稳定点(单变量函数驻点)。二阶必要条件:充分条件如下(即局部最优解的刻画,当满足什么条件,所得的解就是局部最优解)由这个定理,得到迭代终止的准则,即梯度为0。n算法迭代步骤(求出的是极小值点)1.给定初始点x0,置k:=0.2.计算xk点的梯度,若梯度小于等于事先给定的非常小的正数 ,则终止,否则,下一步。解:求负梯度方向以及最佳步长。第二节 算法分析n最速下降法中,当一维搜索精确时,相邻两次搜索方向正交。n收敛:序列 或者它的子列(仍记为 )满足 局部收敛,全局收敛按照算法收敛速度来区分,使用下降方向迭代可分为三类:线性收敛(主要是梯度方法)、二阶收敛(主要是牛顿方法)以及超线性收敛(主要是变尺度法以及共轭方向法)。超线性收敛二次终结性二次终结性:当:当f(x)为正定二次函数时,从任意初始为正定二次函数时,从任意初始点可一步迭代达到最优解。点可一步迭代达到最优解。关于收敛速度n最速下降法计算量不大且收敛,但是收敛速度慢,尤其是迭代点接近最优点时,并且每次迭代行进的距离越来越短.全局收敛,线性收敛,全局收敛,线性收敛,易产生扭摆现象而造成早停。易产生扭摆现象而造成早停。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 下降
限制150内