来源:‣(第二章|信号检测和参数估计 → 2. 无偏与准确之间:MSE、MVU 和收缩)

迁移说明:从正式 Notes 的对应小节迁入。保留核心正文、公式与推导;原插图、附件及交互式折叠请从来源链接查看。内容待校对。

2. 无偏与准确之间:MSE、MVU 和收缩

两种测量算法中,一种长期平均正确但单次跳动很大,另一种略有系统偏差却很稳定。只看“是否无偏”不足以比较单次误差,均方误差把两种来源放在一起:

$$ b(A)=\mathbb E_A[\hat A]-A,\qquad \operatorname{MSE}_A(\hat A)=\operatorname{Var}_A(\hat A)+b(A)^2. $$

MVU(最小方差无偏估计)先限制 $\mathbb E_A[\hat A]=A$,再在无偏估计量中比较方差。允许有偏时,优化范围发生了变化。

证明:MSE 为什么是方差加偏差平方?

把误差拆成随机波动与平均偏移:

$$ \hat A-A=(\hat A-\mathbb E_A\hat A)+b(A). $$

平方后取期望。交叉项为 $2b(A)\mathbb E_A[\hat A-\mathbb E_A\hat A]=0$,剩下 $\mathbb E_A[(\hat A-\mathbb E_A\hat A)^2]+b(A)^2$,即上述恒等式。

将无偏的 $\hat A$ 乘一个固定系数 $a$,得到 $\tilde A=a\hat A$。例如 $a=0.8$ 会把方差缩到原来的 0.64,同时把平均值拉向零;对小 A 可能有利,对大 A 可能偏得很远。 记 $v_N=\sigma^2/N>0$,则

$$ \operatorname{MSE}_A(a\hat A)=a^2v_N+(a-1)^2A^2. $$

推导:理论最优收缩系数及其限制

对固定真值 A 下的风险求导:

$$ \frac{d}{da}\operatorname{MSE}=2a v_N+2(a-1)A^2=0, \qquad a_*=\frac{A^2}{A^2+v_N}. $$

二阶导数 $2(A^2+v_N)>0$,故这是最小点,且

$$ \operatorname{MSE}(a_*\hat A)=\frac{A^2v_N}{A^2+v_N}<v_N. $$

但 $a_$ 含未知真值 A,因此只是知道真值时的理论比较,不能直接作为可实施的估计规则。A=0 时 $a_=0$,所以范围为 $[0,1)$,不是总在 $(0,1)$。任意固定收缩系数也不保证对所有 A 都优于原估计。

这解释了“收缩后不是无偏了吗”:确实一般有偏,它是在讨论偏差与方差的取舍,并未推翻 MVU 的定义。