来源：‣（第二章｜信号检测和参数估计 → 3. 从似然到 Fisher 信息：数据能分辨多小的变化？）
迁移说明：按原 Notes 的完整知识小节迁入，保留正文与公式。原图片与附件请查看来源。内容尚待校对。
观测到某个读数后，把不同候选 A 代回密度，哪个 A 更能解释这次数据？这就是似然的视角：
$$ L(A;\mathbf x)=p(\mathbf x;A),\qquad \ell(A;\mathbf x)=\ln L(A;\mathbf x). $$
固定 A、让数据变化，得到数据的概率密度；固定已经观测的数据、让 A 变化，得到似然。对数似然是似然的对数，不是另一个概率密度。 独立观测的联合密度连乘，对数似然相加；相关观测必须使用联合密度。把 N 个观测相加只用到了这一次实验，而后面的取期望是在所有可能的数据向量上平均，两步不是一回事。 噪声越小，相近参数对应的分布越容易区分。例如同方差的两条正态曲线，均值相差 $\Delta A$ 时，其各自 3σ 区间的重叠长度为 $\max(0,6\sigma-|\Delta A|)$。这提供直觉，但高斯样本并不被限制在 3σ 内，区间重叠长度也不是信息量的定义。 得分函数衡量对数似然对参数的局部变化；Fisher 信息取它的二阶矩：
$$ u(A;\mathbf x)=\partial_A\ell(A;\mathbf x),\qquad I(A)=\mathbb E_A[u^2]=-\mathbb E_A[\partial_A^2\ell]. $$
最后一个等式需要适当正则条件。一次数据的曲率 $-\ell''(A;\mathbf x)$ 与平均的信息量 $I(A)$ 要区分。
计算：独立高斯均值模型为什么得到 N/σ²？
设 $x[n]\overset{\mathrm{iid}}{\sim}\mathcal N(A,\sigma^2)$，方差已知，则
$$ \ell(A)=C-\frac1{2\sigma^2}\sum_n(x[n]-A)^2, \quad u(A)=\frac1{\sigma^2}\sum_n(x[n]-A), \quad \ell''(A)=-\frac N{\sigma^2}. $$
所以 $I(A)=N/\sigma^2$。增加独立观测会增加信息，减小噪声也会增加信息。 一般独立观测的总得分是各得分之和；在各得分期望为零的正则模型中，交叉项期望为零，因此 $I=\sum_n I_n$。
针对页面留言：似然 $L(A;x)=p(x\mid A)$ 把已观察到的同一份数据固定，将 $A$ 当变量比较哪些参数更能解释数据。它由概率质量或概率密度构成，但一般不是“参数 $A$ 的概率分布”；连续观测时密度值也不等于某点概率，更不必小于 1。
得分 $u(A;x)=\partial_A\log p(x\mid A)$ 表示对数似然对参数微小变化有多敏感。Fisher 信息 $I(A)=E_A[u^2]$ 对所有可能数据取平均。在正则条件下，邻近参数 $A$ 和 $A+\delta$ 对应分布的 KL 散度局部近似为 $D_{KL}(p_A\Vert p_{A+\delta})=\tfrac12 I(A)\delta^2+o(\delta^2)$；在这个局部、平均意义下，信息越大通常越容易区分相邻参数。它不是说某一次观测的似然斜率就能完整代表信息，也不等于全局区分能力。
特别注意两种常用计算：$I(A)=E[u^2]$；正则条件下也可用 $I(A)=-E[\partial_A^2\log p]$。二阶导数前必须带负号，并对数据分布取期望。
本段为 Codex 根据页面评论作的理解补充，不是用户原话。
先不用 KL 散度。概率模型 p(x; θ) 描述参数 θ 给定时不同数据 x 的分布；实际看到 x 后，把同一个表达式看成 θ 的函数 L(θ)=p(x; θ)，叫似然。对于连续数据，p 是概率密度，似然值既不是参数的概率，也不是单点概率。例如 X∼N(θ,1)，观察到 x=2，则 L(θ)=(2π)⁻¹ᐟ² exp[−(2−θ)²/2]；θ 越接近 2，观察到附近数据的密度越高。
正则条件是一组保证推导中交换微分与积分等步骤合法的假设，具体条件依定理而异。常见充分条件包括：参数位于可微的内部区域；模型可按参数求导；数据的支持集不随参数变化；存在适当可积控制使微分可移入积分；得分的二阶矩有限且 Fisher 信息为正。再配合无偏估计量有有限方差等条件，才能使用通常的 CRLB 推导。比如 X∼Uniform(0,θ) 的支持集随 θ 改变，不能不检查就照搬常用公式；它说明这些条件并非形式上的装饰。高斯均值模型的支持集为整个实数轴，在已知有限正方差时满足常用条件。