来源:‣(矩阵分析|分章节 → 引入内积:给线性空间增加几何结构)
迁移说明:从正式 Notes 的对应小节迁入。保留核心正文、公式与推导;原插图、附件及交互式折叠请从来源链接查看。内容待校对。
你确认“运算定义空间?”指的是:在线性空间上引入内积,进一步得到欧氏空间。加法和数乘让我们讨论线性组合、基与维数;内积再让我们讨论长度、夹角和正交。
例如在 $\mathbb R^2$ 上,常用内积是 $\langle x,y\rangle=x_1y_1+x_2y_2$。也可以取 $\langle x,y\rangle_G=x_1y_1+4x_2y_2$:向量和线性组合没有变,但 $(0,1)$ 的长度从 $1$ 变为 $2$。新增的是度量结构,而不是改变原来的加法、数乘。
在本课程的有限维语境下,实线性空间配上满足双线性、对称性、正定性的内积,称为欧氏空间:
$$ \langle ax+by,z\rangle=a\langle x,z\rangle+b\langle y,z\rangle,\quad \langle x,y\rangle=\langle y,x\rangle,\quad \langle x,x\rangle>0\ (x\ne0). $$
由此定义
$$ \|x\|=\sqrt{\langle x,x\rangle},\qquad \cos\theta=\frac{\langle x,y\rangle}{\|x\|\|y\|}\quad(x,y\ne0),\qquad x\perp y\iff\langle x,y\rangle=0. $$
复线性空间相应使用共轭对称的 Hermite 内积,通常称为酉空间;不能直接套用实内积的双线性条件。
应用上,投影就是用内积提取沿某方向的分量:
$$ \operatorname{proj}_u x=\frac{\langle x,u\rangle}{\langle u,u\rangle}u\qquad(u\ne0,\ \text{实内积空间}). $$
这也是后续正交化、最小二乘和正交矩阵的基础。
证明|投影后的余量为什么与方向正交?
把近似写成 $cu$,要求误差 $x-cu$ 与 $u$ 正交,即 $\langle x-cu,u\rangle=0$。由双线性得到 $c=\langle x,u\rangle/\langle u,u\rangle$。对任意 $t$,将 $x-tu$ 写成正交的两部分 $(x-cu)+(c-t)u$,得到
$$ \|x-tu\|^2=\|x-cu\|^2+(c-t)^2\|u\|^2. $$
第二项在 $t=c$ 时最小,所以正交投影也是沿该方向的最佳平方误差近似。
参考核对:宾夕法尼亚大学:Euclidean Spaces。
《3-1.pdf》第 2—20 页给出内积、范数、Schwarz 不等式及 Hermitian(共轭转置)性质。对标准复内积 $\langle x,y\rangle=x^*y$: