知识依据:官方教学资料(MIT 18.06: SVD)。本节点为结合资料独立整理的课程讲解,并非官方材料逐字摘录。
SVD 将矩阵拆解为正交基方向和非负奇异值;截断较小奇异值实现最佳低秩逼近。
对任意实矩阵 $A$,奇异值分解为:
$$ A=U\Sigma V^{\mathsf T}=\sum_{i=1}^{r}\sigma_i u_iv_i^{\mathsf T} $$
其中非零奇异值满足 $\sigma_1\geq\sigma_2\geq\cdots\geq\sigma_r>0$。截断至前 $k$ 项得到最佳秩不超过 $k$ 的逼近:
$$ A_k=\sum_{i=1}^{k}\sigma_i u_iv_i^{\mathsf T} $$
根据 Eckart–Young–Mirsky 定理,它同时在 Frobenius 范数与谱范数下实现最佳低秩逼近:
$$ \|A-A_k\|F^2=\sum{i=k+1}^{r}\sigma_i^2,\qquad \|A-A_k\|2=\sigma{k+1} $$
前提是 $0\leq k<r$;若 $k\geq r$,可以精确重构矩阵,误差为零。零奇异值对应的右奇异向量在核空间中。
$$ \boxed{\|A-A_k\|F^2=\sum{i>k}\sigma_i^2} $$
审核提示:后续出题时注意检查本节点的模型假设与边界条件;目前状态为「待校对」。
《4-1.pdf》第 28—50 页与本节点的实矩阵 SVD 相对应。对复矩阵 $A\in\mathbb C^{m\times n}$,应使用共轭转置:
$$ A=U\Sigma V^*,\qquad \sigma_i(A)=\sqrt{\lambda_i(A^*A)}. $$
零奇异值表征秩亏,非零奇异值个数等于 $\operatorname{rank}A$。本节点的 Eckart–Young–Mirsky 最佳秩 $k$ 逼近也适用于复矩阵,此时每项写成 $\sigma_i u_iv_i^*$。
相关分解见 极分解:A=UH 与正半定平方根。