知识依据:官方教学资料(MIT 6.011: Problem Set 6 MMSE/LMMSE)。本节点为结合资料独立整理的课程讲解,并非官方材料逐字摘录。

概念与适用条件

限制估计器为观测的仿射函数时,最优系数由协方差决定;LMMSE 不等同于一般 MMSE。

核心推导与注意事项

设 $X$ 为待估计的随机标量,$Y$ 为观测随机向量。限制估计器为仿射函数 $\hat X=a+b^{\mathsf T}Y$,使用误差与观测的正交条件确定系数:

$$ \operatorname{Cov}(X-\hat X,Y)=0 $$

若观测协方差矩阵 $C_{YY}$ 可逆,则最优仿射估计器为:

$$ \hat X_{\mathrm{LMMSE}}=\mu_X+C_{XY}C_{YY}^{-1}(Y-\mu_Y) $$

这里 $C_{XY}=\operatorname{Cov}(X,Y)$ 为行向量。最小均方误差是:

$$ \operatorname{MSE}{\mathrm{LMMSE}}=\operatorname{Var}(X)-C{XY}C_{YY}^{-1}C_{YX} $$

LMMSE 只保证在仿射估计器中最优。若 $X,Y$ 联合高斯,则 $\hat X_{\mathrm{LMMSE}}=\mathbb E[X\mid Y]$;否则通常不等价。若 $C_{YY}$ 奇异,可考虑伪逆并核对观测的可辨识性。

核心公式

$$ \boxed{\hat X_{\mathrm{LMMSE}}=\mu_X+C_{XY}C_{YY}^{-1}(Y-\mu_Y)} $$

审核提示:后续出题时注意检查本节点的模型假设与边界条件;目前状态为「待校对」。