使用估计理论的领域

有非常多的领域使用参数估计理论。这些领域包括（当然不局限于以下列出的领域）:

信号处理

临床试验

民意调查

质量控制

通讯

控制理论

网络入侵侦查系统

测量参数包含噪声或者其他不确定性。通过统计概率，可以求得最优化的解，用来从数据中提取尽可能多的信息。

估计过程

估计理论的全部目的都是获取一个估计函数，最好是一个可以实现的估计函数。估计函数输入测量数据，输出相应参数的估计。

我们通常希望估计函数能最优，一个最优的估计意味着所有的信息都被提取出来了；如果还有还有信息没有提取出来，那就意味着它不是最优的。

一般来说，求估计函数需要三步：

为了实现一个预测单个或者多个参数的所期望的估计器，首先需要确定系统的模型。这个模型需要将需要建模的过程以及不确定性和和噪声融合到一起，这个模型将描述参数应用领域的物理场景。

在确定模型之后，需要确定估计器的限制条件。这些限制条件可以通过如Cramér-Rao不等式这样的方法找到。

下一步，需要开发一个估计器或者应用一个已知的对于模型有效的估计器。这个估计器需要根据限制条件进行测试以确定它是否是最优估计器，如果是的话，它就是最好的估计器。

最后，在估计器上运行试验或者仿真以测试性能。

当实现一个估计器之后，实际的数据有可能证明推导出估计器的模型是不正确的，这样的话就需要重复上面的过程重新寻找估计器。不能实现的估计器需要抛弃，然后开始一个新的过程。总的来说，估计器根据实际测量的数据预测物理模型的参数。

基础

为了建立一个模型，需要知道几项统计“因素”。为了保证预测在数学上是可以追踪的而不是仅仅基于“内心感受”来说这是必需的。

第一个是从大小为 N {\displaystyle N} 的随机矢量中取出的统计采样，将它们放到一个矢量中，

第二，有相应的 M {\displaystyle M} 参数

它需要根据概率密度函数（pdf）或者概率聚集函数（:en:probability mass function）（pmf）建立

参数本身还可能有一个概率分布（Bayesian statistics），需要定义epistemic probability

模型形成之后的目标就是预测参数，通常表示为 θ θ --> ^ ^ --> {\displaystyle {\hat {\mathbf {\theta } }}} ，其中“hat”表示预测值。

一个普通的估计器是最小均方误差（MMSE）估计器，它利用了参数估计值与实际值之间的误差

作为优化的基础。在最小均方误差估计器中误差进行取平方、最小化。

估计函数（估计子）

以下是一些相关的估计函数以及相关的主题

最大似然估计（Maximum likelihood estimation，简称MLE）

矩估计（Method of moments estimators，简称MME）

Cramér-Rao不等式

最小均方差（Minimum mean squared error，简称MMSE）

最大后验概率（Maximum a posteriori probability，简称MAP）

最小方差非偏估计（Minimum variance unbiased estimator，简称MVUE）

最佳线性非偏估计（BLUE）

非偏估计，见偏差(统计学)。

Particle filter

Markov chain Monte Carlo，简称MCMC

卡尔曼滤波

维纳滤波

例子：高斯白噪声中的直流增益

让我们来看一个接收到的 N {\displaystyle N} 个独立采样点的离散信号 x [ n ] {\displaystyle x[n]} ，它由一个直流增益 A {\displaystyle A} 和 已知 方差为 σ σ --> 2 {\displaystyle \sigma ^{2}} (例如， N ( 0 , σ σ --> 2 ) {\displaystyle {\mathcal {N}}(0,\sigma ^{2})} ）的叠加白噪声 w [ n ] {\displaystyle w[n]} 组成。

由于方差已经知道，所以仅有的未知参数就是 A {\displaystyle A} 。

于是信号的模型是

两个可能的估计器是：

A ^ ^ --> 1 = x [ 0 ] {\displaystyle {\hat {A}}_{1}=x[0]}

A ^ ^ --> 2 = 1 N ∑ ∑ --> n = 0 N − − --> 1 x [ n ] {\displaystyle {\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]} 它是采样平均

这两个估计器都有一个平均值 A {\displaystyle A} ，这可以通过代入每个估计器的期望得到

和

在这一点上，这两个估计器看起来是一样的。但是，当比较方差部分的时候它们之间的不同就很明显了。

和

看起来采样平均是一个更好的估计器，因为方差部分 N → → --> ∞ ∞ --> {\displaystyle N\to \infty } 趋向于0。

最大似然估计

使用最大似然估计继续上面的例子，噪声在一个采样点 w [ n ] {\displaystyle w[n]} 的概率密度函数（pdf）是

这样 x [ n ] {\displaystyle x[n]} 的概率变为（ x [ n ] {\displaystyle x[n]} 可以认为是 N ( A , σ σ --> 2 ) {\displaystyle {\mathcal {N}}(A,\sigma ^{2})} ）

由于相互独立， x {\displaystyle \mathbf {x} } 的概率变为

概率密度函数取自然对数

于是最大似然估计器是

对数最大似然函数取一阶导数

并且将它赋值为0

这就得到最大似然估计器

它是一个简单的采样平均。

从这个例子中，我们发现对于带有固定未知直流增益的AWGN的 N {\displaystyle N} 个采样点来说采样平均就是最大似然估计器。

Cramér-Rao下限

为了找到采样平均估计器的Cramér-Rao下限（CRLB），需要找到Fisher information数

从上面得到

取二阶导数

发现负的期望值是无关紧要的（ trivial ），因为它现在是一个确定的常数

− − --> E [ ∂ ∂ --> 2 ∂ ∂ --> A 2 ln ⁡ ⁡ --> p ( x ; A ) ] = N σ σ --> 2 {\displaystyle -\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}}

最后，将Fisher information代入

得到

将这个值与前面确定的采样平均的变化比较显示对于所有的 N {\displaystyle N} 和 A {\displaystyle A} 来说采样平均都是 等于 Cramér-Rao下限。

采样平均除了是最大似然估计器之外还是最无偏估计器（MVUE）。

这个直流增益 + WGN的例子是Kay的 统计信号处理基础 中一个例子的再现。

相关书籍

Fundamentals of Statistical Signal Processing: Estimation Theory by Steven M. Kay (ISBN 0-13-345711-7)

An Introduction to Signal Detection and Estimation by H. Vincent Poor (ISBN 0-38-794173-8)

Detection, Estimation, and Modulation Theory, Part 1 by Harry L. Van Trees (ISBN 0-47-109517-6;website)

参见

偏差

检测理论

信息论

最大似然估计

矩方法

最小均方差（MMSE）

最大后验概率（MAP）

卡尔曼滤波

维纳滤波

免责声明：以上内容版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。感谢每一位辛勤著写的作者，感谢每一位的分享。