知识依据：官方教学资料（MIT 18.06: 投影、最小二乘专题）。本节点为结合资料独立整理的课程讲解，并非官方材料逐字摘录。

概念与适用条件

当线性方程组超定或不相容时，最小化残差的平方范数，而不是直接令残差为零。

核心推导与注意事项

设 $A\in\mathbb R^{m\times n}$、$b\in\mathbb R^m$。最小二乘估计并不要求 $Ax=b$ 精确可解，而是寻找使残差平方和最小的向量：

$$ \hat x=\arg\min_{x\in\mathbb R^n}\|Ax-b\|_2^2 $$

对目标函数求梯度并令其为零：

$$ \nabla_x\|Ax-b\|_2^2=2A^{\mathsf T}(Ax-b)=0 $$

由此得到法方程，同时说明最优残差 $e=b-A\hat x$ 与 $A$ 的列空间正交：

$$ A^{\mathsf T}A\hat x=A^{\mathsf T}b,\qquad A^{\mathsf T}e=0 $$

当 $A$ 满列秩时，$A^{\mathsf T}A$ 正定、最优解唯一；秩亏时解不一定唯一，可用 Moore–Penrose 伪逆获得最小范数解。数值计算时通常优先使用 QR 分解或 SVD，而不是显式求逆。

核心公式

$$ \boxed{A^{\mathsf T}A\hat x=A^{\mathsf T}b} $$

审核提示：后续出题时注意检查本节点的模型假设与边界条件；目前状态为「待校对」。