参数估计 parameter estimation

对给定系统模型结构中的未知参数，用系统的输入和输出数据进行估算。

18世纪末德国数学家C.F.高斯首先涉及参数估计，他用最小二乘法计算天体运行的轨道。

参数估计和数理统计密切相关，有最小二乘法、预报误差法、辅助变量法、极大似然法、极大验后法、最小风险法和极小化极大熵法等。

在一定条件下，后面三个方法都与极大似然法类似。最基本的方法是最小二乘法和极大似然法。

最小二乘法

为了选出使得模型输出与系统输出尽可能接近的参数估计值，可用模型与系统输出的误差的平方和来度量接近程度。使误差平方和最小的参数值即为所求的估计值。

最大似然法

选择参数θ，使已知数据Y在参数为θ的条件下最可能出现，也就是指似然函数P(Y|θ)最大，这里P(Y|θ)是数据Y的概率分布函数。

与最小二乘法不同的是，极大似然法需要已知概率分布函数P(Y|θ)，但在实践中这是困难的。若设P(Y|θ)是正态分布函数，这时极大似然估计与最小二乘估计相同。

参数估计的性质

当估计值的数学期望值等于参数真值时，参数估计就是无偏估计。

当估计值是数据的线性函数时，是线性估计。

当估计值的均方差最小时，为最小方差估计。

若线性无偏估计又是最小方差估计，称为最优线性无偏估计。

如果无偏估计值的方差到达劳-克拉默不等式的下界，则称为有效估计值。

若（以概率1），则称为一致估计。

在一定条件下，最小二乘估计是最优线性无偏估计，它的估计值是有效估计，而且是一致估计。极大似然估计在一定条件下渐近有效，而且是一致估计。

寻求最小二乘估计和极大似然估计的常用方法是将准则函数对参数θ求导数，计算梯度，因而要使最优化的方法：梯度法、变尺度法、单纯形搜索法、牛顿-拉夫森法等。

递推参数估计

用递推算法估计动态系统的参数，方法是：利用t+1时刻的输入和输出数据和对t时刻的参数估计进行修正，计算出新的参数值。每一步作修正的计算时间比用优化方法重新求解所需的时间要少得多。

最小二乘法和极大似然法都有递推形式，另外还有递推广义最小二乘法、递推辅助变量法和递推增广最小二乘法等，都是递推最小二乘法的改进形式，可以用来估计带有色噪声干扰的系统，但在理论上发展得较为完善的，还是针对线性随机系统。

此外，随机逼近算法、卡尔曼滤波法和朗道递推估计，是从不同的出发点得到的递推参数估计法，递推参数估计算法的一致性，即（以概率为1）是讨论的重点。

推荐书目

荣L. 系统辨识：使用者的理论. 袁震东，阮荣耀，陈树中，译. 上海：华东师范大学出版社，1990.

CHEN H F，GUO L. Identification and Stochastic Adaptive Control. Boston：Birkhouser，1991.

摘自：《中国大百科全书（第2版）》第3册，中国大百科全书出版社，2009年