2.2 几种常用的最优估计方法

2.2.1 最小均方误差估计

x的最小均方误差（MMSE）估计泛函指标为Z}，则x的MMSE估计为

定理2.2:。

证明：由最优必要和充分条件得到。

注：

（1）为无偏估计，也即E{E{xz}}=E{x}。

（2）由于为无偏估计，所以其估计误差（估计值与真值之差）=的方差阵为

（3）的最小均方误差性：

设x的其他任意估计为，则相应误差估计的方差阵为

不等式（2-9）表明，最优估计具有最小的估计误差方差阵。

2.2.2 极大似然估计

极大似然（ML）估计最早由Fisher提出，x的极大似然估计（记为）使得式（2-6）给出的可能性函数最大，也即

为了便于求解，通常对似然函数取对数，并称ln（x）为对数似然函数。由于ln（x）是（x）的严格单调递增函数，因此有

显然满足最优必要条件，也即

而对数似然函数取极大值的充分条件由下式给出

注：

（1）ML估计的直观含义就是对未知参数进行估计，使产生观测量 {z1, z2，…，zN}的概率最大。

（2）ML估计的优点之一就是并不局限于高斯分布的测量噪声。

（3）对于零均值高斯测量噪声的情况，ML和MMSE的估计结果一致。

（4）对于ML估计问题，x为非随机量，但是为观测量的函数，因此为随机量。

（5）ML估计是渐近无偏估计。

2.2.3 极大后验估计

极大后验估计也为贝叶斯估计的一种。x的极大后验估计（记为）使x的后验概率密度函数（p（xz））最大，即

类似的，可以对后验概率密度函数取对数，从而有

显然，应满足下式

注：对于大的样本，MAP估计收敛于ML估计。

2.2.4 加权最小二乘估计

MMSE估计、ML估计和MAP估计均为从概率密度函数的角度出发对待估参数进行估计，加权最小二乘（WLS）估计则从测量方程的角度进行估计。假设测量方程的形式为

式中，ν为测量噪声。

则WLS估计（记）由下式给出

式中，W=WT＞O。特别的，当W=I时，称WLS估计为最小二乘（LS）估计，并记为。有时，并不区分WLS估计和LS估计，统一将它们称作LS估计。