Download
1 / 15
150 likes | 315 Views
系统辨识 (System Identification) 第十讲 : 最小二乘法. 王国利. http://human-robot.sysu.edu.cn. 信息科学与技术学院自动化系. 中山大学. 最小二乘法. 最小二乘估计 - 辨识对象 : 单输入单输出 (SISO) 系统 A(z -1 )y(k)=B(z -1 )u(k)+e(k) z -1 是延迟算子 A(z -1 )=1+a 1 z -1 +a 2 z -2 +…+a n z -n B(z -1 )=b 0 +b 1 z -1 +b 2 z -2 +…+b n z -n
E N D
系统辨识 (System Identification) 第十讲: 最小二乘法 王国利 http://human-robot.sysu.edu.cn 信息科学与技术学院自动化系 中山大学
最小二乘法 • 最小二乘估计 - 辨识对象: 单输入单输出(SISO)系统 A(z-1)y(k)=B(z-1)u(k)+e(k) z-1是延迟算子 A(z-1)=1+a1z-1+a2z-2+…+anz-n B(z-1)=b0+b1z-1+b2z-2+…+bnz-n - 辨识问题: 给定I/O数据 {u(k), y(k), k=0,1,2,…,n+N} 归结为估计 {a1,a2,…,an,b0,b1,b2,…,bn}
最小二乘法(续) - 记号与问题描述 y(n+k)= φ(n+k)Tθ+e(n+1), k=1,2,…,N 其中 θ=[a1 a2 … an b0 b1 b2 … bn]T φ(n+k)=[-y(n+k-1) -y(n+k) … y(k) u(n+k) u(n+k-1) … u(k)]T N序列回归矩阵 ΦN=[φ(n+1) φ(n+2) … φ(n+N)]T N序列系统模型 YN=ΦNθ+eN 参数向量 回归向量
最小二乘法(续) N序列回归模型(续) YN=[y(n+1) y(n+2) … y(n+N)]T eN =[e(n+1) e(n+2) … e(n+N)]T 给定估计的参数θ^, N序列回归预测误差向量 e^=YN-ΦNθ^ 二次预测残差（注意是标量） J(θ^)=[e^]T e^=(YN-ΦNθ^)T(YN-ΦNθ^) =Σk[e^(n+k)]2 最小二乘估计 θls=argminθ^J(θ^)
最小二乘法(续) - 最小二乘估计 多元函数微分： f(x1,x2,…,xn): RnR f 关于 x 的微分为 df/dx=[∂f/∂x1 ∂f/∂x2 … ∂f/∂xn]T d2f/dx2 =[∂2f/∂xi∂xj] 特别地 f(x)=bTx=xTb df/dx=b f(x)=xTAx df/dx=(A+AT)x d2f/dx2=(A+AT)
最小二乘法(续) J(θ^)关于参数向量θ^的一阶和二阶微分 J(θ^)=(YN-ΦNθ^)T(YN-ΦNθ^) =[YN ]TYN-[YN ]TΦNθ^-[ΦNθ^]TYN +[ΦNθ^]TΦNθ^ =[YN ]TYN-2[YN ]TΦNθ^-[θ^]T[ΦNTΦN]θ^ 容易验证 dJ/dθ^=-2[ΦN ]TYN -2[ΦNTΦN]θ^ d2J/dθ^2= -2[ΦNTΦN] 若d2J/dθ^2<0,则θls是最小二乘估计当且仅当 dJ/dθ^(θls)=０ [ΦNTΦN]θls= [ΦN ]TYN θls =[ΦNTΦN]-1[ΦN ]TYN
最小二乘法(续) －加权最小二乘估计 二次预测残差 J(θ^)=Σk w(k)[e^(n+k)]2 =(YN-ΦNθ^)TkW(YN-ΦNθ^) 同理容易验证 dJ/dθ^=-2[ΦN ]TWYN -2[ΦNTWΦN]θ^ d2J/dθ^2= -2[ΦNTWΦN] θwls满足加权正则方程 dJ/dθ^(θwls)=０[ΦNTWΦN]θwls=[ΦN ]TWYN θwls =[ΦNTWΦN]-1[ΦN ]TWYN W=diag[w(n+1), w(n+2),…,w(n+k)]
最小二乘法(续) • 最小二乘的统计性质 最小二乘估计的随机性来源于系统噪声e(k) 统计特性假设 1) {e(k)} 是独立同分布(i.i.d.)的随机噪声 且E[e(k)]=0 2）{e(k)}和{y(k),u(k)}独立/不相关 3）N序列噪声协方差矩阵 R=cov(eN)=E[eNTeN] =[E[e(n+i)e(n+j)]] =diag{E[e(n+i)e(n+i)]}=σe2 INxN （白噪声情形）
最小二乘法(续) - 无偏性：估计的期望值与真值相同 定理：在上述假设下，加权最小二乘产生无偏估计 证明: 回顾加权最小二乘 θwls=[ΦNTWΦN]-1[ΦN ]TWYN =[ΦNTWΦN]-1[ΦN ]TW(ΦNθ+eN) 容易看出 E[θwls]=[ΦNTWΦN]-1[ΦN ]TW ΦNθ +[ΦNTWΦN]-1[ΦN ]TWE[eN] =θ 得证。
最小二乘法(续) - 有效性：估计的方差为最小 定理：当W=R-1, 加权最小二乘估计为最小方差估计 证明：当W=R-1, 加权最小二乘为 θwls=[ΦNTR-1ΦN]-1[ΦN ]TR-1(ΦNθ+eN) =θ+[ΦNTR-1ΦN]-1[ΦN ]TR-1eN=:θmv 容易验证 cov(θmv)=cov([θmv-θ][θmv-θ]T ) =[ΦNTR-1ΦN]-1[ΦN ]TR-1 cov(eN) ΦN [ΦNTR-1ΦN]-1 =[ΦNTR-1ΦN]-1 下面证明 cov(θwls)>=cov(θmv)
最小二乘法(续) 下面证明 cov(θwls)>=cov(θmv) 引入记号： Lwls=[ΦNTWΦN]-1[ΦN ]TW Lmv =[ΦNTR-1ΦN]-1[ΦN ]TR-1 则协方差可以表示成 cov(θwls)=LwlsR[Lwls]T cov(θmv)=LmvR[Lmv]T 注意到 LwlsR[Lmv]T=[ΦNTWΦN]-1[ΦN ]TWR R-1 ΦN [ΦNTR-1ΦN]-1 =[ΦNTR-1ΦN]-1 =cov(θmv)
最小二乘法(续) 考察 cov(θwls)-cov(θmv) =cov(θwls)-cov(θmv)-cov(θmv)+cov(θmv) = LwlsR[Lwls]T-LwlsR[Lmv]T-LmvR[Lwls]T +LmvR[Lmv]T =(Lwls-Lmv)R(Lwls-Lmv)T >=0 换言之 cov(θwls)>=cov(θmv) 得证。
最小二乘法(续) -一致性：估计以概率1收敛于真值 定理：当{e(k)}为白噪声时，最小二乘估计是一致的 limN∞P(|θls-θ|<ε)=1 证明： {e(k)}为白噪声时，回顾 R=cov(eN)=E[eNTeN]=σe2 INxN 考察 limN∞cov(θls)=limN∞ σe2 [ΦNTΦN]-1 =limN∞ σe2/N[ΦNTΦN/N]-1 注意到 ΦNTΦN/N=∑kφ(n+k)φ(n+k)T/N N∞E[φ(n+k)φ(n+k)T]
最小二乘法(续) 亦即 limN∞cov(θls)=limN∞ σe2/N[ΦNTΦN/N]-1 =0 注意到E[θls]=θ，故 limN∞θls= θ, w.p.l 得证。
最小二乘法(续) -渐进正态特性：估计服从正态分布 假定： eN ~ N(0,σe2INxN) 定理：当{e(k)}为正态白噪声时，最小二乘估计 服从正态分布，即 θls ~ N(θ, σe2E[ΦNTΦN]) 证明： 回顾 YN=ΦNθ+eN,知道 YN~ N(E[ΦNθ], σe2INxN) 又θls=[ΦNTΦN]-1[ΦN ]TYN，是YN的线性函数，故 θls ~ N(E[θls], cov(θls)) ~ N(θ, σe2E[ΦNTΦN]). 得证。
