知识依据:官方教学资料(MIT 6.011: Problem Set 6 MMSE/LMMSE)。本节点为结合资料独立整理的课程讲解,并非官方材料逐字摘录。

概念与适用条件

在平方损失下,全部可测估计器中的最优估计是条件期望;最小均方误差不一定要求无偏。

核心推导与注意事项

设随机变量 $X$ 与观测 $Y$ 具有有限二阶矩,使用平方误差损失。对任何平方可积的观测函数 $g(Y)$,条件期望的正交分解给出:

$$ \mathbb E[(X-g(Y))^2]=\mathbb E[(X-\mathbb E[X\mid Y])^2]+\mathbb E[(\mathbb E[X\mid Y]-g(Y))^2] $$

等式中第二项非负,因而选择 $g(Y)=\mathbb E[X\mid Y]$ 使均方误差最小。

误差的正交性不仅针对 $Y$ 本身,而且针对任意平方可积的 $h(Y)$:

$$ \mathbb E[(X-\mathbb E[X\mid Y])h(Y)]=0 $$

注意这里 $X$ 是随机量;最小均方误差不自动要求经典统计意义上的“对未知确定参数无偏”。当 $X,Y$ 联合高斯时,条件期望为仿射函数;一般分布不保证如此。

核心公式

$$ \boxed{\hat X_{\mathrm{MMSE}}=\mathbb E[X\mid Y]} $$

审核提示:后续出题时注意检查本节点的模型假设与边界条件;目前状态为「待校对」。