两种投影

矩阵 $P$ 是（代数）投影矩阵当且仅当 $P^2=P$；这意味着任意 $x$ 唯一分解为 $\operatorname{im}P$ 与 $\ker P$ 两部分。

$$ P^2=P,\qquad \mathbb C^n=\operatorname{im}P\oplus\ker P. $$

正交投影还必须满足 $P^*=P$。若 $Q\in\mathbb C^{n\times r}$ 的列标准正交，即 $Q^*Q=I_r$，则其列空间上的正交投影为：

$$ P=QQ^,\qquad P^2=P=P^. $$

投影到列空间的结果 $Px$ 与残差 $(I-P)x$ 正交。

反例：幂等不代表正交

$$ P=\begin{bmatrix}1&1\\0&0\end{bmatrix},\quad P^2=P,\quad P^*\ne P. $$

它沿非正交方向投影到横轴。对实际最小二乘问题，正交投影才对应欧氏范数下的最佳逼近。

相关知识

引入内积：给线性空间增加几何结构。

课件出处

3-1.pdf，第 38—55 页。