基础准备及入门.ppt

王国利王国利信息科学与技术学院自动化系 信息科学与技术学院自动化系中山大学 中山大学http:/human-http:/human-系统辨识系统辨识(System Identification)(System Identification)第十讲:最小二乘法系统辨识最小二乘法n n最小二乘估计最小二乘估计-辨识对象 辨识对象:单输入单输出 单输入单输出(SISO)(SISO)系统 系统 A(z-1)y(k)=B(z-1)u(k)+e(k)z-1是延迟算子 A(z-1)=1+a1z-1+a2z-2+anz-n B(z-1)=b0+b1z-1+b2z-2+bnz-n-辨识问题:给定I/O 数据 u(k),y(k),k=0,1,2,n+N 归结为估计 a1,a2,an,b0,b1,b2,bn系统辨识最小二乘法(续)-记号与问题描述记号与问题描述 y(n+k)=y(n+k)=(n+k)T+e(n+1),k=1,2,N 其中=a1 a2 an b0 b1 b2 bnT(n+k)=-y(n+k-1)-y(n+k)y(k)u(n+k)u(n+k-1)u(k)T N 序列回归矩阵 N=(n+1)(n+2)(n+N)T N 序列系统模型 YN=N+eN回归向量 回归向量参数向量 参数向量系统辨识最小二乘法(续)N N 序列回归模型 序列回归模型(续 续)YN=y(n+1)y(n+2)y(n+N)T eN=e(n+1)e(n+2)e(n+N)T 给定估计的参数 给定估计的参数,N N 序列 序列 回归预测误差向量 回归预测误差向量 e=YN-N 二次预测残差（注意是标量）二次预测残差（注意是标量）J()=eT e=(YN-N)T(YN-N)=k e(n+k)2 最小二乘估计 ls=argminJ()系统辨识最小二乘法(续)-最小二乘估计 多元函数微分：f(x1,x2,xn):RnR f 关于 x 的微分为 df/dx=f/x1 f/x2 f/xnT d2f/dx2=2f/xixj 特别地 f(x)=bTx=xTb df/dx=b f(x)=xTAx df/dx=(A+AT)x d2f/dx2=(A+AT)系统辨识最小二乘法(续)J()关于参数向量的一阶和二阶微分 J()=(YN-N)T(YN-N)=YN TYN-YN TN-N TYN+N TN=YN TYN-2YN TN-TNTN 容易验证 dJ/d=-2N TYN-2NTN d2J/d2=-2NTN 若d2J/d20,则ls是最小二乘估计当且仅当 dJ/d(ls)=NTNls=N TYN ls=NTN-1N TYN 系统辨识最小二乘法(续)加权最小二乘估计 加权最小二乘估计 二次预测残差 二次预测残差 J()=k w(k)e(n+k)2=(YN-N)TkW(YN-N)同理容易验证 dJ/d=-2N TWYN-2NTWN d2J/d2=-2NTWN wls满足加权正则方程 dJ/d(wls)=NTWNwls=N TWYN wls=NTWN-1N TWYN W=diagw(n+1),w(n+2),w(n+k)系统辨识最小二乘法(续)n n 最小二乘的统计性质 最小二乘的统计性质 最小二乘估计的随机性来源于系统噪声e(k)统计特性假设 1)e(k)e(k)是独立同分布 是独立同分布(.)(.)的随机噪声 的随机噪声 且Ee(k)=0 2）e(k)和y(k),u(k)独立/不相关 3）N 序列噪声协方差矩阵 R=cov(eN)=EeNTeN=Ee(n+i)e(n+j)=diagEe(n+i)e(n+i)=e2 INxN（白噪声情形）系统辨识最小二乘法(续)-无偏性：估计的期望值与真值相同 无偏性：估计的期望值与真值相同 定理：在上述假设下，加权最小二乘产生无偏估计 证明 证明:回顾加权最小二乘 回顾加权最小二乘 wls=NTWN-1N TWYN=NTWN-1N TW(N+eN)容易看出 容易看出 Ewls=NTWN-1N TW N+NTWN-1N TWEeN=得证。系统辨识最小二乘法(续)-有效性：估计的方差为最小 有效性：估计的方差为最小 定理：当W=R-1,加权最小二乘估计为最小方差估计 证明：证明：当W=R-1,加权最小二乘为 wls=NTR-1N-1N TR-1(N+eN)=+NTR-1N-1N TR-1eN=:mv 容易验证 容易验证 cov(mv)=cov(mv-mv-T)=NTR-1N-1N TR-1 cov(eN)N NTR-1N-1=NTR-1N-1 下面证明 cov(wls)=cov(mv)系统辨识最小二乘法(续)下面证明 cov(wls)=cov(mv)引入记号：Lwls=NTWN-1N TW Lmv=NTR-1N-1N TR-1 则协方差可以表示成 cov(wls)=LwlsRLwlsT cov(mv)=LmvRLmvT 注意到 LwlsRLmvT=NTWN-1N TWR R-1 N NTR-1N-1=NTR-1N-1=cov(mv)系统辨识最小二乘法(续)考察 cov(wls)-cov(mv)=cov(wls)-cov(mv)-cov(mv)+cov(mv)=LwlsRLwlsT-LwlsRLmvT-LmvRLwlsT+LmvRLmvT=(Lwls-Lmv)R(Lwls-Lmv)T=0 换言之 cov(wls)=cov(mv)得证。系统辨识最小二乘法(续)-一致性：估计以概率 一致性：估计以概率1 1 收敛于真值 收敛于真值 定理：当e(k)为白噪声时，最小二乘估计是一致的 lim limN N P(|P(|ls-|)=1 证明：证明：e(k)为白噪声时，回顾 回顾 R=cov(eN)=EeNTeN=e2 INxN 考察 lim limN N cov(ls)=lim limN N e2 NTN-1=lim limN N e2/NNTN/N-1 注意到 注意到 NTN/N=k(n+k)(n+k)T/N N N E(n+k)(n+k)T系统辨识最小二乘法(续)亦即 亦即 lim limN N cov(ls)=lim limN N e2/NNTN/N-1=0 注意到 注意到 Els=，故 lim limN N ls=,得证。系统辨识最小二乘法(续)-渐进正态特性：估计服从正态分布 渐进正态特性：估计服从正态分布 假定：假定：eN N(0,N(0,e2INxN)定理：当e(k)为正态白噪声时，最小二乘估计 服从正态分布，即 ls N(N(,e2ENTN)证明：证明：回顾 回顾 YN=N+eN,知道 YN N(E N(EN,e2INxN)又 ls=NTN-1N TYN，是YN的线性函数，故 的线性函数，故 ls N(E N(Els,cov(ls)N(N(,e2ENTN).得证。