一．反向传播算法

反向传播算法[1]（Backpropagation Algorithm，简称BP算法）是深度学习的重要思想基础，对于初学者来说也是必须要掌握的基础知识，在这一小节里，我们会较为详细的介绍这一重点知识。

我们使用一个如图1所示的神经网络，该图所示是一个三层神经网络，两层隐藏层和一层输出层，输入层有两个神经元，接收输入样本，为网络的输出。

图1 一个三层神经网络

二．前馈计算的过程

为了理解神经网络的运算过程，我们需要先搞清楚前馈计算，即数据沿着神经网络前向传播的计算过程，以图1所示的网络为例：

输入的样本为：

第一层络的参数为：

第二层网络的参数为：

第三层网络的参数为：

·第一层隐藏层的计算

图2 计算第一层隐藏层

第一层隐藏层有三个神经元：neu₁、neu₂和。neu₃该层的输入为：

以神经元为例，则其输入为：

同理有：

假设我们选择函数 f(x) 作为该层的激活函数（图1中的激活函数都标了一个下标，一般情况下，同一层的激活函数都是一样的，不同层可以选择不同的激活函数），那么该层的输出为：f₁(z₁)、f₂(z₂)和f₃(z₃)。

·第二层隐藏层的计算

图3 计算第二层隐藏层

第二层隐藏层有两个神经元：neu₄和neu₅。该层的输入为：

即第二层的输入是第一层的输出乘以第二层的权重，再加上第二层的偏置。因此得到₄和₅的输入分别为：

该层的输出分别为：f₄(z₄)和f₅(z₅)。

·输出层的计算

图4 计算输出层

输出层只有一个神经元：neu₆。该层的输入为：

即：

因为该网络要解决的是一个二分类问题，所以输出层的激活函数也可以使用一个Sigmoid型函数，神经网络最后的输出为f₆(z₆)：。

三．反向传播的计算

上一小节里我们已经了解了数据沿着神经网络前向传播的过程，这一节我们来介绍更重要的反向传播的计算过程。假设我们使用随机梯度下降的方式来学习神经网络的参数，损失函数定义为L(y,y ̂)，其中是该样本的真实类标。使用梯度下降进行参数的学习，我们必须计算出损失函数关于神经网络中各层参数（权重w和偏置b）的偏导数。

假设我们要对第k层隐藏层的参数W^((k))和求偏导数b^((k))。假设z^((k))代表第k层神经元的输入，即

，其中n^((k-1))为前一层神经元的输出，则根据链式法则有：

因此，我们只需要计算偏导数。

· 计算偏导数

前面说过，第k层神经元的输入为：

，因此可以得到：

上式中，

代表第k层神经元的权重矩阵的第m行，

代表第k层神经元的权重矩阵的第m行中的第n列。

我们以图1所示的简单神经网络为例，假设我们要计算第一层隐藏层的神经元关于权重矩阵的导数，则有：

·计算偏导数

因为偏置b是一个常数项，因此偏导数的计算也很简单：

依然以第一层隐藏层的神经元为例，则有：

·计算偏导数

偏导数

又称为误差项（error term，也称为"灵敏度"），一般用表示，例如是第一层神经元的误差项，其值的大小代表了第一层神经元对于最终总误差的影响大小。

根据第一节的前向计算，我们知道第k + 1层的输入与第k层的输出之间的关系为：

又因为

，根据链式法则，我们可以得到：

由上式我们可以看到，第k层神经元的误差项δ^((k))是由第k + 1层的误差项乘以第k + 1层的权重，再乘以第k层激活函数的导数（梯度）得到的。这就是误差的反向传播。

现在我们已经计算出了偏导数，则分别表示为：

下面是基于随机梯度下降更新参数的反向传播算法：

输入：训练集：D={(x^((i)),y^((i)) )},i=1,2,⋯,N 学习率：γ 训练回合数（epoch）：T初始化网络各层参数w^((l))和b^((l))for t=1⋯T do 打乱训练集中样本的顺序 for i=1⋯N do (1)获取一个训练样本，前馈计算每一层的输入z^((l))和输出n^((l)) (2)利用公式*反向传播计算每一层的误差项δ^((l)) (3)利用公式**和公式***计算每一层参数的导数 (4)更新参数： w^((l))=w^((l))-γδ^((l)) (n^((l)) )^T b^((l))=b^((l))-γδ^((l))

以上是BP算法的介绍，下次文章中有一个BP算法计算的完整示例，希望加深理解的读者可以跟着示例计算一遍。

四．参考文献

[1]. Learing representations by back-propagating erros.David E.Rumelhart,Geoffrey E.Hinton,Ronald J.Williams

对深度学习感兴趣，热爱Tensorflow的小伙伴，欢迎关注我们的网站 我们的公众号：磐创AI。