文章发布于公号【数智物语】 （ID：decision_engine），关注公号不错过每一篇干货。

来源 | CrossHands

作者 | AhongPlus

回归模型中常用的评估指标可以分如下几类：

1. MAE系列，即由Mean Absolute Error衍生得到的指标；

2. MSE系列，即由Mean Squared Error衍生得到的指标；

3. R²系列；

注：在英语中，error和deviation的含义是一样的，所以Mean Absolute Error也可以叫做Mean Absolute Deviation(MAD)，其他指标同理可得；

01

MAE系列

MAE 全称 Mean Absolute Error (平均绝对误差)。

更多参考：

设N为样本数量，

为实际值，

为预测值，那么 MAE 的定义如下

由 MAE 衍生可以得到：

Mean Absolute Pencentage Error (MAPE，平均绝对百分比误差)，相当于加权版的 MAE。

MAPE 可以看做是 MAE 和 MPE (Mean Percentage Error) 综合而成的指标

。

从 MAPE 公式中可以看出有个明显的 bug——当实际值

为 0 时就会得到无穷大值(实际值

的绝对值<1也会过度放大误差)。为了避免这个 bug，MAPE一般用于实际值不会为 0 的情形。

Sungil Kima & Heeyoung Kim(2016) 提出 MAAPE(mean arctangent absolute percentage error) 方法，在保持 MAPE 的算法思想下克服了上面那个 bug

更多参考 A new metric of absolute percentage error for intermittent demand forecasts,Sungil Kima & Heeyoung Kim, 2016。

考虑Absolute Error

可能存在 Outlier 的情况，此时 Median Abosulte Error (MedAE, 中位数绝对误差)可能是更好的选择。

02

MSE系列

MSE全称Mean Squared Error(均方误差)，也可以称为Mean Squared Deviation (MSD).

更多参考：

由MSE可以衍生得到均方根误差(Root Mean Square Error, RMSE, 或者RMSD)

更多参考：

RMSE可以进行归一化(除以全距或者均值)从而得到归一化的均方根误差(Normalized Root Mean Square Error, NRMSE).

RMSE还有其他变式：

1. RMSLE(Root Mean Square Logarithmic Error)

2. RMSPE(Root Mean Square Percentage Error)

对于数值序列出现长尾分布的情况，可以选择MSLE(Mean squared logarithmic error，均方对数误差)，对原有数据取对数后再进行比较(公式中+1是为了避免数值为0时出现无穷值)。

03

R²系列

R²(R squared, Coefficient of determination)，中文翻译为“决定系数”或者“拟合优度”，反映的是预测值对实际值的解释程度。

注意：R²和相关系数的平方不是一回事(只在简单线性回归条件下成立)。

其中

，总平方和(

) = 回归平方和(

)+残差平方和(

)。

.

回归模型中，增加额外的变量会提升R²，但这种提升可能是虚假的，因此提出矫正的R²(Adjusted R²，符号表示为

或

)来对模型中的变量个数进行“惩罚”(

)。

公式中P表示回归模型中变量(特征)的个数。

和R²计算方式很相近的另一个指标是Explained Variance Score.

设

，则有

更多关于R²参考 ：

1. ttps://en.wikipedia.org/wiki/Coefficient_of_determination

2.

3.

综上，在选用评价指标时，需要考虑

1. 数据中是否有0，如果有0值就不能用MPE、MAPE之类的指标；

2. 数据的分布如何，如果是长尾分布可以选择带对数变换的指标，中位数指标比平均数指标更好；

3. 是否存在极端值，诸如MAE、MSE、RMSE之类容易受到极端值影响的指标就不要选用；

4. 得到的指标是否依赖于量纲(即绝对度量，而不是相对度量)，如果指标依赖量纲那么不同模型之间可能因为量纲不同而无法比较；

更多关于指标选择可以参考A Survey of Forecast Error Measures(2013)这篇文章。

参考资料：

1.

2. A Survey of Forecast Error Measures, 2013

3.

4.

5. A new metric of absolute percentage error for intermittent demand forecasts,Sungil Kima & Heeyoung Kim, 2016

6. Accuracy in forecasting: A survey, Essam Mahmoud, 1984

星标我，每天多一点智慧