知识依据:官方教学资料(MIT 6.011: Problem Set 6 MMSE/LMMSE)。本节点为结合资料独立整理的课程讲解,并非官方材料逐字摘录。
限制估计器为观测的仿射函数时,最优系数由协方差决定;LMMSE 不等同于一般 MMSE。
设 $X$ 为待估计的随机标量,$Y$ 为观测随机向量。限制估计器为仿射函数 $\hat X=a+b^{\mathsf T}Y$,使用误差与观测的正交条件确定系数:
$$ \operatorname{Cov}(X-\hat X,Y)=0 $$
若观测协方差矩阵 $C_{YY}$ 可逆,则最优仿射估计器为:
$$ \hat X_{\mathrm{LMMSE}}=\mu_X+C_{XY}C_{YY}^{-1}(Y-\mu_Y) $$
这里 $C_{XY}=\operatorname{Cov}(X,Y)$ 为行向量。最小均方误差是:
$$ \operatorname{MSE}{\mathrm{LMMSE}}=\operatorname{Var}(X)-C{XY}C_{YY}^{-1}C_{YX} $$
LMMSE 只保证在仿射估计器中最优。若 $X,Y$ 联合高斯,则 $\hat X_{\mathrm{LMMSE}}=\mathbb E[X\mid Y]$;否则通常不等价。若 $C_{YY}$ 奇异,可考虑伪逆并核对观测的可辨识性。
$$ \boxed{\hat X_{\mathrm{LMMSE}}=\mu_X+C_{XY}C_{YY}^{-1}(Y-\mu_Y)} $$
审核提示:后续出题时注意检查本节点的模型假设与边界条件;目前状态为「待校对」。