二章优化设计的理论与数学基础.ppt
《二章优化设计的理论与数学基础.ppt》由会员分享,可在线阅读,更多相关《二章优化设计的理论与数学基础.ppt(37页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、二章优化设计的理论与数学基础 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望3 3、二次型函数、二次型函数、二次型函数、二次型函数 F(x)=xF(x)=xT TAxAx对于二次函数对于二次函数F(x)=xF(x)=xT TAxAx。若对于任意不为零的若对于任意不为零的 x x=x x1 1,x,x2 2,x,xn n,恒有恒有F(x)F(x)0,0,则相应的系数矩阵则相应的系数矩阵A A称为称为正定矩阵正定矩阵。若恒有若恒有F(x)F(x)0,0,则称则称A A
2、为为半正定矩阵半正定矩阵。2.2 2.2 目标函数的等值线(面)目标函数的等值线(面)设设n n维目标函数维目标函数F(x)=F(xF(x)=F(x1 1,x,x2 2,x,xn n),),在在n n维设维设计空间的任意一点计空间的任意一点x x有确定的函数值有确定的函数值F;F;反之,反之,对于某一确定的函数值将有若干个设计点对于某一确定的函数值将有若干个设计点x xi i(i=1,2,)(i=1,2,)与之相应。与之相应。如果是连续问题,将如果是连续问题,将有无限多个确定的设计点对应同一个函数值,有无限多个确定的设计点对应同一个函数值,则这些设计点在设计空间中构成的点集称为等则这些设计点在
3、设计空间中构成的点集称为等值面(三维空间)、超等值面(四维以上)。值面(三维空间)、超等值面(四维以上)。对于二维问题,则称等值线。对于二维问题,则称等值线。2.3 2.3 无约束优化最优解的条件无约束优化最优解的条件一、一元函数极值条件一、一元函数极值条件一、一元函数极值条件一、一元函数极值条件对于连续可微的一元函数对于连续可微的一元函数f(x)f(x),如在如在x x*点有极值,点有极值,其必要条件为:其必要条件为:f(x*)=0f(x*)=0若若x*x*为有极小值点,其充分条件为:为有极小值点,其充分条件为:f”(x*)0f”(x*)0二、二元函数极值条件二、二元函数极值条件二、二元函数
4、极值条件二、二元函数极值条件 对于连续可微函数F(x)=F(x1,x2)在x*点有极 值,其必要条件为:F(x*)=三、多维函数极值条件三、多维函数极值条件三、多维函数极值条件三、多维函数极值条件 对于连续可微函数F(x)=F(x1,x2,,xn)在x*点有 极值,其必要条件为:F(x*)=当海赛矩阵正定时,点x*为极小值2.4 2.4 凸集与凸函数凸集与凸函数2.4.1凸集与非凸集凸集与非凸集2.4.2 2.4.2 凸函数凸函数凸函数凸函数一、凸函数的数学定义一、凸函数的数学定义:若若F(x)F(x)满足:满足:则称则称F(x)F(x)为定义在凸集上的凸函数为定义在凸集上的凸函数二、凸函数的
5、基本性质二、凸函数的基本性质 1 1)若)若F(x)F(x)为凸函数,则为凸函数,则F(x)F(x)也是凸函数。也是凸函数。为为任意正实数。任意正实数。2)2)若若F(xF(x1 1)、F(x F(x2 2)为凸函数,则为凸函数,则F(xF(x1 1)+F(x)+F(x2 2)也是凸函数。也是凸函数。3)3)若若F(xF(x1 1)、F(x F(x2 2)为凸函数,则为凸函数,则F(xF(x1 1)+)+F(xF(x2 2)也是凸函数。也是凸函数。三、凸函数的判别法三、凸函数的判别法:海赛矩阵半正定海赛矩阵半正定海赛矩阵半正定海赛矩阵半正定四、局部极小点与全局极小点四、局部极小点与全局极小点
6、包括无约束优化与约束优化问题在内,用优化方法所求出的点包括无约束优化与约束优化问题在内,用优化方法所求出的点一般都是局部极小点,称为一般都是局部极小点,称为局部最优点局部最优点局部最优点局部最优点;而我们所需要的是整体;而我们所需要的是整体极小点,称为极小点,称为全局最优点全局最优点全局最优点全局最优点。2.5 2.5 关于优化方法中搜寻方向的理论基关于优化方法中搜寻方向的理论基础础对任何一个优化方法的研究都离不开初始点对任何一个优化方法的研究都离不开初始点x x(0)(0)的选取、搜寻方向的选取、搜寻方向S S的确定以及步长的确定以及步长a a的确定。或的确定。或称称初始点初始点初始点初始点
7、x x(0)(0)、搜寻方向、搜寻方向、搜寻方向、搜寻方向S S S S以及以及步长步长步长步长a a为优化方法为优化方法的三要素。而尤以搜寻方向的三要素。而尤以搜寻方向S S为关键为关键,它是优化方它是优化方法特性以及优劣的根本标志。不同的优化方法取法特性以及优劣的根本标志。不同的优化方法取不同的方向不同的方向S S,它是矢量,在,它是矢量,在n n维优化方法中维优化方法中,S=SS=S1 1 S S2 2 S Sn n。以下说明产生搜寻方向的。以下说明产生搜寻方向的数学理论基础。数学理论基础。由目标函数的等值线上可大致的看出函数的变化情况,由目标函数的等值线上可大致的看出函数的变化情况,而
8、三维以上的超等值面是不能画出来的。为了确切表达函数而三维以上的超等值面是不能画出来的。为了确切表达函数在某一点的变化形态则要用微分的办法具体分析。在某一点的变化形态则要用微分的办法具体分析。一、方向导数一、方向导数一、方向导数一、方向导数导数是描写函数变化率的一个量。设有连续可微的导数是描写函数变化率的一个量。设有连续可微的n n维目标维目标函数函数F F(x x)F F(x x)在点)在点 的一阶偏导数为的一阶偏导数为,它们分别表示函数它们分别表示函数F F(x x)在点)在点 沿各座标轴方向的变化率。沿各座标轴方向的变化率。2.5.12.5.1函数的最速下降方向函数的最速下降方向以二维函数
9、F(x)为例,见图。从 点,沿某一方向 (与ox1,ox2轴夹角分别为 ,)前进到点 其增量 其模长函数F(x)在点沿S方向的方向导数为 或记为方向方向导导数数表示函数表示函数F F(x x)在点)在点沿S方向的变化率。图中,过o,两点两点连线连线所所竖竖立的垂直立的垂直平面与函数平面与函数F F(x x)曲面交)曲面交线线mmmm,该该曲曲线线在在k k点的斜率即点的斜率即为为函数函数F F(x x)沿)沿S S方向的方向的导导数。数。沿沿S S方向的方向的导导数数为为n n维函数维函数F F(x x)在点)在点+式中式中,为为方向方向方向方向S S和各座和各座和各座和各座标轴标轴标轴标轴的
10、的的的夹夹夹夹角角角角。称称cos,cos,cos为为矢量矢量矢量矢量S S的方向余的方向余的方向余的方向余铉铉铉铉。上式可上式可简简写写为为或 为为函数函数F F(x x)在点)在点的梯度,的梯度,记记作作gradFgradF(),矢量的模矢量的模长为长为简记为简记为定义矢量:定义矢量:定义矢量:定义矢量:是方向是方向S S的的单单位矢量,其模位矢量,其模长为长为将方向导数式写为用记号,S表示矢量 与S之间的夹角,则表示的方向导数又可写为二、函数的最速下降方向二、函数的最速下降方向二、函数的最速下降方向二、函数的最速下降方向函数函数F F(x x)在)在 点变化率的值取决于方向点变化率的值取
11、决于方向S S,不同,不同方向变化率大小不同方向变化率大小不同 -1cos -1cos ,S S1,1,当方向当方向S S与梯度与梯度 矢量方向一致时,方向导数矢量方向一致时,方向导数 达到最大值,即函数的达到最大值,即函数的变化率最大,其值为梯度的模长变化率最大,其值为梯度的模长梯度优化设计的几个重要特征梯度优化设计的几个重要特征梯度优化设计的几个重要特征梯度优化设计的几个重要特征 梯度是在设计空间里的一个矢量。该矢量的方向是指梯度是在设计空间里的一个矢量。该矢量的方向是指矢量的最速上升方向,矢量的最速上升方向,即在梯度方向函数的变化率最大即在梯度方向函数的变化率最大即在梯度方向函数的变化率
12、最大即在梯度方向函数的变化率最大 函数在某点的梯度矢量指出了该点极小邻域内函数的函数在某点的梯度矢量指出了该点极小邻域内函数的最速上升方向,因而只有局部性。函数在其定义域范围最速上升方向,因而只有局部性。函数在其定义域范围内的各点都对应着一个确定的梯度内的各点都对应着一个确定的梯度,即不同点即不同点即不同点即不同点x x的最速上的最速上的最速上的最速上升方向不同升方向不同升方向不同升方向不同 函数最速下降方向,在优化设计理论中占有重要地位。函数最速下降方向,在优化设计理论中占有重要地位。函数负梯度函数负梯度-必为函数最速下降方向,必为函数最速下降方向,不同设计点不同设计点不同设计点不同设计点函
13、数函数函数函数F F(x x)具有各自的最速下降方向)具有各自的最速下降方向)具有各自的最速下降方向)具有各自的最速下降方向 函数函数F F(x x)在)在 点的梯度点的梯度矢量是函数等值线(面)在该矢量是函数等值线(面)在该点的法矢量点的法矢量以二维函数为例,如图以二维函数为例,如图取函数值为取函数值为F Fk k及及F Fk k+F F,等值线,等值线为为x x1 1oxox2 2平面上相对应的两条曲线平面上相对应的两条曲线过等值线上点过等值线上点 ,沿,沿S S方向的方向的方向导数为方向导数为对对于上述两条等于上述两条等于上述两条等于上述两条等值线值线,函数的增量,函数的增量,函数的增量
14、,函数的增量为为定定定定 F F,而,而,而,而过过过过 点的最大方向导数必沿着等值线间距离点的最大方向导数必沿着等值线间距离点的最大方向导数必沿着等值线间距离点的最大方向导数必沿着等值线间距离最短的方向,既沿着最短的方向,既沿着最短的方向,既沿着最短的方向,既沿着|S|S|最小的方向,必为最小的方向,必为最小的方向,必为最小的方向,必为过过过过 点等值线的法线方向点等值线的法线方向点等值线的法线方向点等值线的法线方向2.5.2 共轭方向共轭方向 共轭方向共轭方向共轭方向共轭方向是指若干个方向矢量组成的方向组,各方向具有是指若干个方向矢量组成的方向组,各方向具有某种共同的性质,他们之间存在着特
15、定的关系。某种共同的性质,他们之间存在着特定的关系。一一一一、共轭方向的基本概念共轭方向的基本概念共轭方向的基本概念共轭方向的基本概念首先以二元二次函数为例予以说明共轭方向概念,设函数首先以二元二次函数为例予以说明共轭方向概念,设函数式中式中2*22*2阶对称阶对称阶对称阶对称正定矩阵正定矩阵正定矩阵正定矩阵函数函数F F(x x)的梯度为)的梯度为F(x)=Ax+B由于函数F(x)中的A矩阵对称正定,所以等值线为一组椭圆,如右图 按任意给定的方向按任意给定的方向S S1 1,做,做F F(x x)=F=F1 1与与F F(x x)=F=F2 2两条等两条等值切线,两切线互为平行,切点值切线,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 优化 设计 理论 数学 基础
限制150内