来源:‣(第二章|信号检测和参数估计 → 6. 多个参数:先看导数的形状,再看信息矩阵)
迁移说明:从正式 Notes 的对应小节迁入。保留核心正文、公式与推导;原插图、附件及交互式折叠请从来源链接查看。内容待校对。
例如同时估计平均电压 A 和噪声方差 v,参数是列向量 $\boldsymbol\theta=(A,v)^{\mathsf T}$。对数似然仍是标量;对每个参数求一阶导,组成得分列向量,再对各分量求导得到 Hessian 矩阵。
$$ \mathbf u=\nabla_{\boldsymbol\theta}\ell,\qquad \mathbf I=\mathbb E[\mathbf u\mathbf u^{\mathsf T}] =-\mathbb E[\nabla_{\boldsymbol\theta}^2\ell]. $$
向量函数 $\mathbf q:\mathbb R^p\to\mathbb R^m$ 的 Jacobian 约定为 $J_{ij}=\partial q_i/\partial\theta_j$:行对应输出,列对应输入。例如 $\mathbf q=(A^2,v)^{\mathsf T}$ 的 Jacobian 是 $\operatorname{diag}(2A,1)$。 对无偏估计量,在相应正则条件、信息正定时,
$$ \operatorname{Cov}(\hat{\boldsymbol\theta})\succeq\mathbf I^{-1},\qquad \operatorname{Cov}(\hat{\mathbf q})\succeq\mathbf J\mathbf I^{-1}\mathbf J^{\mathsf T}. $$
半正定是指对任意方向 $\mathbf a$,误差的线性组合 $\mathbf a^{\mathsf T}\hat{\boldsymbol\theta}$ 的方差不低于对应界,并不是逐个比较矩阵中的所有元素。
推导:同时估计高斯均值 A 和方差 v
设观测独立同分布 $\mathcal N(A,v)$,$v>0$,记 $Q=\sum_n(x[n]-A)^2$:
$$ \ell=-\frac N2\ln(2\pi v)-\frac Q{2v}, \quad u_A=\frac1v\sum_n(x[n]-A), \quad u_v=-\frac N{2v}+\frac Q{2v^2}. $$
二阶导逐项计算:
$$ \ell_{AA}=-N/v,\qquad \ell_{Av}=-\frac1{v^2}\sum_n(x[n]-A),\qquad \ell_{vv}=\frac N{2v^2}-\frac Q{v^3}. $$
用 $\mathbb E[\sum_n(x[n]-A)]=0$、$\mathbb E[Q]=Nv$ 取负期望:
$$ \mathbf I=\begin{pmatrix}N/v&0\\0&N/(2v^2)\end{pmatrix}, \qquad \mathbf I^{-1}=\begin{pmatrix}v/N&0\\0&2v^2/N\end{pmatrix}. $$
交叉信息为零表示这组参数在该模型中的信息正交,不自动保证所有估计量独立或同时达到所有分量的界。 对标量 $g(A,v)=A^2$,$\nabla g=(2A,0)^{\mathsf T}$,故无偏估计的方差界为 $\nabla g^{\mathsf T}\mathbf I^{-1}\nabla g=4A^2v/N$。这里 v=σ² 是单次噪声方差,均值误差方差为 v/N。
证明:矩阵 CRB 与等号条件
设 $\mathbf e=\hat{\mathbf q}-\mathbf q(\boldsymbol\theta)$。由无偏性和正则条件,$\mathbb E[\mathbf e\mathbf u^{\mathsf T}]=\mathbf J$。残差 $\mathbf r=\mathbf e-\mathbf J\mathbf I^{-1}\mathbf u$ 的协方差为
$$ \mathbb E[\mathbf r\mathbf r^{\mathsf T}] =\operatorname{Cov}(\hat{\mathbf q})-\mathbf J\mathbf I^{-1}\mathbf J^{\mathsf T}\succeq0. $$
全矩阵等号成立当且仅当 $\mathbf r=0$ 几乎处处。对 $\mathbf q=\boldsymbol\theta$,条件就是 $\mathbf u=\mathbf I(\hat{\boldsymbol\theta}-\boldsymbol\theta)$。得分期望为零、信息正定是前提的一部分,不能替代这个等号条件。