基于之前我讲解的视频，这篇文章详细讲解下最小二乘法求解线性回归

首先来说下线性回归的定义：就是能够用一个直线较为精确地描述数据之间的关系。这样当出现新的数据的时候，就能够预测出一个简单的值。

好多不懂算法的朋友，都说算法是个黑盒，那我们就假设线性回归算法是个黑盒，其实这个黑盒就是我们要求的线性回归函数，那接下来我们就求解这个黑盒子吧

在初中我们都学过一次函数y=kx+b，其实这就是最简单的一维线性函数的公式，我们要求出k和b，那么这条直线就求出来了，只是求解的方法可能和初中我们学过的求解方法不一样

1.预测函数

举个列子来说，我们想求解房屋面积和房屋价格的关系，这是一个典型的线性回归的例子，图上的点是训练数据，我们要拟合一条直线，来找到面积和房价的关系，这条直线就是线性回归的预测函数，也就是y-kx+b

那可能有多种拟合的方法，那哪一条直线是最好的呢？这就是线性回归要求解的问题

2.损失函数

那既然是这样，肯定要有一个评判标准，那这个评判标准很简单，只要算一下实际房价和预测房价的差值就可以了，可以用两点之间的距离来表示，当我们把所有距离做加和，就能量化出预测房价和真实房价之间的误差了如下图表示

那用公式表示其实就是欧式距离的加和，其中y(i)表示的是实际房价，y^(i)表示的是预测房价

3.最小化损失函数

得到损失函数后，我们要想办法使损失函数达到最小值，因为只有预测值和真实值越接近，才能得到最优的预测函数，那就依照这个原则，我们要做的就是使损失函数达到最小

回归分析的主要任务就是通过n组样本观测值对系数k，b进行估计，常用的方法是最小二乘法，其目标为：

为使上述离差平方和达到极小，对k， b 求偏导数，并令其等于0：

到这我们就求解出k和b了

4.多维线性回归

上述都是一维线性回归，那如果我们假设数据中还有一个特征是楼间距，这就是二维的了，那如果再多一些特征，那就是多维线性回归了

我们要求解的预测函数就是z，求解方法与上述方法一样，构造损失函数，是损失函数达到最小。

求解线性回归还有一种方法就是正规方程解，这个就是利用矩阵变换来求解了，以上就是线性回归求解的基础部分了，希望对大家有帮助，如果喜欢我的内容，请关注我，给我点个赞~