知识依据:官方教学资料(MIT 18.06: Gram-Schmidt 与 QR)。本节点为结合资料独立整理的课程讲解,并非官方材料逐字摘录。
对于满列秩 A=QR,Q 的列正交归一,R 上三角;最小二乘可化为三角方程。
设满列秩矩阵 $A\in\mathbb R^{m\times n}$ 有约化 QR 分解 $A=QR$,其中 $Q^{\mathsf T}Q=I_n$,$R$ 为可逆上三角矩阵。因为 $QQ^{\mathsf T}$ 是到 $\operatorname{col}(A)$ 的正交投影,有:
$$ \|Ax-b\|_2^2=\|Rx-Q^{\mathsf T}b\|_2^2+\|(I-QQ^{\mathsf T})b\|_2^2 $$
第二项不随 $x$ 改变,因此最小二乘问题归结为求解上三角线性方程组。可用回代法计算,不需要先构造 $A^{\mathsf T}A$。
$$ \hat x=R^{-1}Q^{\mathsf T}b $$
对于满列秩矩阵,有 $\kappa_2(A^{\mathsf T}A)=\kappa_2(A)^2$,因此显式法方程可能放大病态影响。QR 通常更稳定;秩亏或严重近似秩亏时,应考虑带列主元 QR 或 SVD。
$$ \boxed{R\hat x=Q^{\mathsf T}b} $$
审核提示:后续出题时注意检查本节点的模型假设与边界条件;目前状态为「待校对」。
《4-1.pdf》第 12—27 页再次给出正交化与 QR 分解。对于复矩阵,实数推导中的转置须改为共轭转置:
$$ A=QR,\qquad Q^*Q=I,\qquad R=Q^*A. $$
这里 $Q$ 可取列正交的约化形式;若 $A$ 列满秩,$R$ 可逆。与本节点的最小二乘推导一致,可回代 $R\hat x=Q^*b$。