#我在头条搞创作#

简介：

逻辑回归又叫对数几率回归(Logistic Regression )，是一种广义的线性回归分析模型。虽然名字里有回归，但其实是分类模型，常用于二分类。Logistic Regression 因其简单、可并行化、可解释强，因此被广泛使用。

原理：

用逻辑函数把线性回归的结果(-∞,∞)映射到(0,1)。

本质：

假设数据服从某个分布，然后使用极大似然估计做参数的估计，即发生概率除以没有发生概率再取对数。

线性回归

根据逻辑回归的原理，我们首先要知道线性回归的结果。上节课，我们学习了线性回归一元一次方程：y=ax+b，线性回归分析还包括二元一次方程（y=a1x1+a2x2+a0）和三元一次方程（y=a0+a1x1+a2x2+a3x3）...，以及n元一次方程（y=a0+a1x1+a2x2+a3x3+...+anxn）这些称为多元线性回归分析。

线性回归函数的数学表达式为：

其中xi是自变量，y是因变量，y的值域为(-∞,∞)，w0是常数项，wi(i=1,2,...,n)是待求系数，不同的权重wi反映了自变量对因变量不同的贡献程度。

逻辑回归

以二分类为例讲解逻辑回归

假设对于上图二分类数据集，存在一条直线可以将数据完成线性分割，如上图红色线所示，其中绿色三角形代表类别1，蓝色圆形代表类别0。

我们称红色分割线为决策边界函数（可以是非线性的）：

当边界函数大于0时，类别为1；边界函数小于0时类别为0。

那么如何将线性回归的结果(-∞,∞)映射到(0,1)？

此时需要一个激活函数：sigmoid函数

由上图可知，不管x取什么值其对应的sigmoid函数值一定会落到(0,1)范围内

把线性回归函数的结果，带入sigmod函数中去，就构造了逻辑回归预测函数。

化简得：

其中

我们将逻辑回归结果 y 视为 某个事件发生的概率，则 1-y 为 这个事件不发生的概率。两者的比值称为几率（odds），指该事件发生与不发生的概率比值，若事件发生的概率为 p。

则

上式反应了线性回归的结果等于对数几率，

变化得到逻辑回归模型的数学形式：

例如，一个人健康的样本标签定义为1，不健康的样本标签定义为0，每个人的健康影响因素有身高、体重、年龄等数据（对应函数中的xi）。我们可以用这些样本数据训练逻辑回归模型，并求解出变量x的参数w，进而使用这些数据参数预测其他人的健康指标。

那么重点是如何去求解模型中的参数。在统计学中，常常使用极大似然估计法来求解，即找到一组参数，使得在这组参数下，我们的数据的似然度（概率）最大。

设：

似然函数：

等式两边取对数，改成对数似然函数：

此时应用梯度上升求最大值，引入逻辑回归的损失函数

转换为梯度下降任务。

通过 J(w) 对 w 的一阶导数来找梯度下降方向，求导如下：

在逻辑回归模型中，最大化似然函数和最小化损失函数实际上是等价的。

参数更新：

（-α代表沿梯度下降方向更新梯度的步长（学习率），

代表更新梯度的方向，1/n代表综合考虑所有的样本（mini-batch））

tensorflow实战演示：逻辑回归——credit数据集是对用户的各个指标进行判断，从而判断用户是否违约。