1、 稳健回归

其主要思路是将对异常值十分敏感的经典最小二乘回归中的目标函数进行修改。经典最小二乘回归以使误差平方和达到最小为其目标函数。因为方差为一不稳健统计量，故最小二乘回归是一种不稳健的方法。为减少异常点的作用，对不同的点施加不同的权重，残差小的点权重大，残差大的店权重小。

2、 变系数回归

地理位置加权

3、 偏最小二乘回归

长期以来，模型式的方法和认识性的方法之间的界限分得十分清楚。而偏最小二乘法则把它们有机的结合起来了，在一个算法下，可以同时实现回归建模(多元线性回归)、数据结构简化(主成分分析)以及两组变量之间的相关性分析(典型相关分析)。偏最小二乘法在统计应用中的重要性体现在以下几个方面：偏最小二乘法是一种多因变量对多自变量的回归建模方法。偏最小二乘法可以较好的解决许多以往用普通多元回归无法解决的问题。偏最小二乘法之所以被称为第二代回归方法，还由于它可以实现多种数据分析方法的综合应用。能够消除自变量选取时可能存在的多重共线性问题。普通最小二乘回归方法在自变量间存在严重的多重共线性时会失效。自变量的样本数与自变量个数相比过少时仍可进行预测。

4、 支持向量回归

能较好地解决小样本、非线性、高维数和局部极小点等实际问题。

传统的化学计量学算法处理回归建模问题在拟合训练样本时,要求“残差平方和”最小,这样将有限样本数据中的误差也拟合进了数学模型,易产生“过拟合”问题,针对传统方法这一不足之处,SVR采用“ε不敏感函数”来解决“过拟合”问题,即f(x)用拟合目标值yk时,取:f(x) =∑SVs(αi-α*i)K(xi,x)

上式中αi和α*i为支持向量对应的拉格朗日待定系数,K(xi,x)是采用的核函数[18],x为未知样本的特征矢量,xi为支持向量(拟合函数周围的ε“管壁”上的特征矢量),SVs

为支持向量的数目.目标值yk拟合在yk-∑SVs(αi-α*i)K(xi,xk)≤ε时,即认为进一步拟合是无意义的。

5、 核回归

核函数回归的最初始想法是用非参数方法来估计离散观测情况下的概率密度函数(pdf)。为了避免高维空间中的内积运算 由Mercer条件，存在映射函数a和核函数K(?,?)，使得：<a(xi )a(x )>=K(xi ,x)

采用不同的函数作为SVM的核函数K (x i,x)，可以实现多种从输入空间到特征空间的非线性映射形式

6、 岭回归

岭回归分析是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的耐受性远远强于最小二乘法。

7、 半参数回归

模型既含有参数分量又含有非参数分量,其参数部分用来解释函数关系已知的部分,它是观测值中的主要成分,而其非参数部分则描述函数关系未知,无法表达为待定参数的函数部分。

8、 自回归

例1．Yt = α+β0Xt +β1Xt-1 +……+βsXt-s + ut,

例2．Yt = f (Yt-1, Yt-2, … , X2t, X3t, … ) ，滞后的因变量（内生变量）作为解释变量出现在方程的右端。这种包含了内生变量滞后项的模型称为自回归模型。

9、正交回归

因素水平值在区间[Zｊ1, Zｊ2]内变化，经编码之后，编码值xi在区间[-1，+1]间变化，将响应值y原来对Z1, Z2……Zm的回归问题，转化为y对x1,x2……xm的回归问题。它的主要优点是可以把实验或计算的安排、数据的处理和回归方程的精度统一起来加以考虑,根据实验目的和数据分析来选择实验或计算点,不仅使得在每个实验或计算点上获得的数据含有最大的信息,从而减少实验或计算次数,而且使数据的统计分析具有一些较好的性质,以较少的实验或计算建立精度较高的回归方程。

10、逐步回归

实际问题中影响因变量的因素可能很多，我们希望从中挑选出影响显著的自变量来建立回归模型，这就涉及到变量选择的问题，逐步回归是一种从众多变量中有效地选择重要变量的方法。基本思路为，先确定一初始子集，然后每次从子集外影响显著的变量中引入一个对y 影响最大的，再对原来子集中的变量进行检验，从变得不显著的变量中剔除一个影响最小的，直到不能引入和剔除为止。

11、主成分回归

在统计学中，主成分分析是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。

首先对X阵进行主成份分析，T阵的维数可以与X阵相同，如果使用整个T阵参加回归，这样得到的结果与多元线性回归没有多大的差别。因为主成分（新变量）是原变量的线性组合。前面的k个主成份包含了X矩阵的绝大部分有用信息，而后面的主成份则往往与噪声和干扰因素有关。因此参与回归的是少数主成分组成的矩阵。在维数上远小于X。主成分回归通过对参与回归的主成份的合理选择，可以去掉噪音。主成份间相互正交，解决了多元线性回归中的共线性问题。主成分回归能够充分利用数据信息，有效地提高模型的抗干扰能力。

来源：网络，由计量经济学服务中心综合整理