来源:‣(第一章|随机信号处理 → 1.3 随机收敛、大数定律、中心极限定理)
迁移说明:从正式 Notes 的对应小节迁入。保留核心正文、公式与推导;原插图、附件及交互式折叠请从来源链接查看。内容待校对。
随机变量的收敛不止一种:有依概率、均方、几乎处处、依分布收敛。这里用到:
$$ X_N\xrightarrow{P}X \iff \forall\varepsilon>0,\quad \Pr(|X_N-X|>\varepsilon)\to0. $$
设 $X_i$ 独立同分布,均值 μ,有限方差 $0<\sigma^2<\infty$,样本均值为 $\bar X_N=N^{-1}\sum_{i=1}^N X_i$。
大数定律看位置:样本均值随着样本增多趋近总体均值。
中心极限定理看误差形状:满足上述 iid、有限非零方差条件时,适当标准化后的样本均值误差渐近正态:
$$ \frac{\sqrt N(\bar X_N-\mu)}{\sigma}\xrightarrow{d}\mathcal N(0,1). $$
应用:增加独立重复观测可以降低均值估计的不确定性,标准差按 1/√N 缩小;样本相关时不能照搬有效样本量。切比雪夫不等式给出保守概率界,完整计算见 Maths。
原记“n 个 i.i.d 相加,n 无穷大就服从正态”应加上中心化、标准化、有限方差等条件。若各项本就独立高斯,则有限项之和也精确高斯;否则通常是渐近近似。
证明与计算|大数定律的切比雪夫证明
设 X₁,…,Xₙ 独立同分布,均值为 μ,有限方差为 σ²>0,样本均值为 X̄ₙ=(X₁+⋯+Xₙ)/N。以下先证明弱大数定律;中心极限定理只列结论,未在此证明。
切比雪夫不等式:
$$ \Pr(|X-\mu|\ge\varepsilon)\le\frac{\sigma^2}{\varepsilon^2}. $$
因为 $\operatorname{Var}(\bar X_N)=\sigma^2/N$,所以:
$$ \Pr(|\bar X_N-\mu|\ge\varepsilon)\le\frac{\sigma^2}{N\varepsilon^2}\to0. $$
这说明大数定律:样本均值趋近总体均值。中心极限定理则研究误差的形状:
$$ \frac{\sum_{i=1}^N X_i-N\mu}{\sigma\sqrt N} =\frac{\sqrt N(\bar X_N-\mu)}{\sigma} \xrightarrow{d}\mathcal N(0,1). $$
Chapter 1.2. 随机过程、自相关与功率谱