最优化Armijo算法确定步长的最速下降法.doc
《最优化Armijo算法确定步长的最速下降法.doc》由会员分享,可在线阅读,更多相关《最优化Armijo算法确定步长的最速下降法.doc(8页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、数学与计算科学学院实 验 报 告实验项目名称 使用非精确线搜索Armijo算法确定步长的 最速下降法 所属课程名称 最优化方法 实 验 类 型 算法编程 实 验 日 期 班 级 学 号 姓 名 成 绩 一、实验概述:【实验目的】1. 通过实验掌握最速下降法的Matlab算法的基本步骤;2. 通过实验掌握Armijo算法确定步长;3. 掌握最速下降法的思想及迭代步骤。【实验原理】1.最速下降法: 最古老的优化方法,十九世纪中叶由Cauchy提出 思想 :每次沿负梯度方向进行搜索等值线(面)负梯度方向也称为最速下降方向:举例:算法步骤:优点:最速下降法的收敛性:全局收敛性:收敛速度估计:结论:最速
2、下降法的收敛速度比较慢,通常将其用在某些算法的初始阶段求较好的初始点或作为某些算法的间插步.【实验环境】Win 7;Matlab7.0二、实验内容:【实验方案】1、求梯度;2、向梯度相反的方向移动x,其中为步长。如果步长足够小,则可以保证每一次迭代都在减小,但可能导致收敛太慢,如果步长太大,则不能保证每一次迭代都减少,也不能保证收敛。3、循环迭代步骤2,直到x的值变化到使得在两次迭代之间的差值足够小,比如0.00000001,也就是说,直到两次迭代计算出来的基本没有变化,则说明此时已经达到局部最小值了。4、此时,输出x,这个x就是使得函数最小时的x的取值 。【实验过程】 梯度下降法的计算过程就
3、是沿梯度下降的方向求解极小值(也可以沿梯度上升方向求解极大值)。 其迭代公式为,其中代表梯度负方向,表示梯度方向上的搜索步长。梯度方向我们可以通过对函数求导得到,步长的确定比较麻烦,太大了的话可能会发散,太小收敛速度又太慢。一般确定步长的方法是由线性搜索算法来确定,即把下一个点的坐标ak+1看做是的函数,然后求满足f(ak+1)的最小值的 即可。 因为一般情况下,梯度向量为0的话说明是到了一个极值点,此时梯度的幅值也为0.而采用梯度下降算法进行最优化求解时,算法迭代的终止条件是梯度向量的幅值接近0即可,可以设置个非常小的常数阈值。【实验结论】(结果)梯度下降法处理一些复杂的非线性函数会出现问题
4、,例如Rosenbrock函数:其最小值在处,函数值为。但是此函数具有狭窄弯曲的山谷,最小点 就在这些山谷之中,并且谷底很平。优化过程是之字形的向极小值点靠近,速度非常缓慢。靠近极小值时收敛速度减慢。直线搜索时可能会产生一些问题。可能会“之字形”地下降。【实验小结】(收获体会) 这次的实验报告,使得我们对这些算法的思想更加了解,在选择线性搜索的方法时,我们深刻体会到各类参数设置对程序效率的重要性,不同的问题要选用合适的参数来求解,这样使得问题求解及程序运行的效率最高。通过不断地翻阅课本,剖析程序,我们最后实现了对程序的修改和完善,对提供的问题作出了较好的解答。总的来说,对无约束最优化的求解,每
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 优化 Armijo 算法 确定 步长 下降
限制150内