知识依据:官方教学资料(MIT 18.06: SVD)。本节点为结合资料独立整理的课程讲解,并非官方材料逐字摘录。

概念与适用条件

SVD 将矩阵拆解为正交基方向和非负奇异值;截断较小奇异值实现最佳低秩逼近。

核心推导与注意事项

对任意实矩阵 $A$,奇异值分解为:

$$ A=U\Sigma V^{\mathsf T}=\sum_{i=1}^{r}\sigma_i u_iv_i^{\mathsf T} $$

其中非零奇异值满足 $\sigma_1\geq\sigma_2\geq\cdots\geq\sigma_r>0$。截断至前 $k$ 项得到最佳秩不超过 $k$ 的逼近:

$$ A_k=\sum_{i=1}^{k}\sigma_i u_iv_i^{\mathsf T} $$

根据 Eckart–Young–Mirsky 定理,它同时在 Frobenius 范数与谱范数下实现最佳低秩逼近:

$$ \|A-A_k\|F^2=\sum{i=k+1}^{r}\sigma_i^2,\qquad \|A-A_k\|2=\sigma{k+1} $$

前提是 $0\leq k<r$;若 $k\geq r$,可以精确重构矩阵,误差为零。零奇异值对应的右奇异向量在核空间中。

核心公式

$$ \boxed{\|A-A_k\|F^2=\sum{i>k}\sigma_i^2} $$

审核提示:后续出题时注意检查本节点的模型假设与边界条件;目前状态为「待校对」。

新课件对照:SVD 的复矩阵形式

《4-1.pdf》第 28—50 页与本节点的实矩阵 SVD 相对应。对复矩阵 $A\in\mathbb C^{m\times n}$,应使用共轭转置:

$$ A=U\Sigma V^*,\qquad \sigma_i(A)=\sqrt{\lambda_i(A^*A)}. $$

零奇异值表征秩亏,非零奇异值个数等于 $\operatorname{rank}A$。本节点的 Eckart–Young–Mirsky 最佳秩 $k$ 逼近也适用于复矩阵,此时每项写成 $\sigma_i u_iv_i^*$。

相关分解见 极分解:A=UH 与正半定平方根。

新课件《4-1.pdf》第28—50页。