一、BP神经网络结构模型

BP算法的基本思想是，学习过程由信号的正向传播和误差的反向传播俩个过程组成，输入从输入层输入，经隐层处理以后，传向输出层。如果输出层的实际输出和期望输出不符合，就进入误差的反向传播阶段。误差反向传播是将输出误差以某种形式通过隐层向输入层反向传播，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，这个误差信号就作为修正个单元权值的依据。知道输出的误差满足一定条件或者迭代次数达到一定次数。

层与层之间为全连接，同一层之间没有连接。结构模型如下图所示。

使用的传递函数sigmoid可微的特性使他可以使用梯度下降法。所以，在隐层函数中使用sigmoid函数作为传递函数，在输出层采用线性函数作为传递函数。

输入向量、隐层输出向量、最终输出向量、期望输出向量：

X=（x1,x2,x3……xn），其中图中x0是为隐层神经元引入阈值设置的;

Y=(y1,y2,y3……ym),其中图中y0是为输出神经元引入阈值设置的;

O=(o1,o2,o3……ol)

D=（d1,d2,d3……dl）

输出层的输入是隐层的输出，隐层的输入是输入层的输出，计算方法和单层感知器的计算方法一样。

单极性Sigmoid函数：

双极性sigmoid函数：

二、BP神经网络的学习算法

标准BP神经网络沿着误差性能函数梯度的反方向修改权值，原理与LMS算法比较类似，属于最速下降法。此外还有以下改进算法，如动量最速下降法，拟牛顿法等。

最速下降法又称为梯度下降法。LMS算法就是最小均方误差算法。LMS算法体现了纠错原则，与梯度下降法本质上没有区别，梯度下降法可以求目标函数的极小值，如果将目标函数取为均方误差，就得到了LMS算法。

梯度下降法原理：对于实值函数F(x)，如果函数在某点x0处有定义且可微，则函数在该点处沿着梯度相反的方向下降最快，因此，使用梯度下降法时，应首先计算函数在某点处的梯度，再沿着梯度的反方向以一定的步长调整自变量的值。其中实值函数指的是传递函数，自变量x指的是上一层权值和输入值的点积作为的输出值。

网络误差定义：

三层BP网络算法推导：

1、变量定义

网络的实际输出：

信号正向传播误差信号反向传播

首先误差反向传播首先经过输出层，所以首先调整隐含层和输出层之间的权值。

然后对输入神经元和隐层神经元的误差进行调整。

权值矩阵的调整可以总结为:

权值调整量det(w)=学习率*局部梯度*上一层输出信号。

BP神经网络的复杂之处在于隐层输入层、隐层和隐层之间的权值调整时，局部梯度的计算需要用到上一步计算的结果，前一层的局部梯度是后一层局部梯度的加权和。

训练方式：

串行方式：网络每获得一个新样本，就计算一次误差并更新权值，直到样本输入完毕。批量方式：网络获得所有的训练样本，计算所有样本均方误差的和作为总误差；

在串行运行方式中，每个样本依次输入，需要的存储空间更少，训练样本的选择是随机的，可以降低网络陷入局部最优的可能性。

批量学习方式比串行方式更容易实现并行化。由于所有样本同时参加运算，因此批量方式的学习速度往往远优于串行方式。

BP神经网络的优点：

非线性映射能力泛化能力 容错能力 允许输入样本中带有较大误差甚至个别错误。反应正确规律的知识来自全体样本，个别样本中的误差不能左右对权矩阵的调整。

BP神经网络的局限性：

梯度下降法的缺陷：

目标函数必须可微；如果一片区域比较平坦会花费较多时间进行训练；可能会陷入局部极小值，而没有到达全局最小值；（求全局极小值的目的是为了实现误差的最小值）

BP神经网络的缺陷：

需要的参数过多，而且参数的选择没有有效的方法。确定一个BP神经网络需要知道：网络的层数、每一层神经元的个数和权值。权值可以通过学习得到，如果，隐层神经元数量太多会引起过学习，如果隐层神经元个数太少会引起欠学习。此外学习率的选择也是需要考虑。目前来说，对于参数的确定缺少一个简单有效的方法，所以导致算法很不稳定；属于监督学习，对于样本有较大依赖性，网络学习的逼近和推广能力与样本有很大关系，如果样本集合代表性差，样本矛盾多，存在冗余样本，网络就很难达到预期的性能；由于权值是随机给定的，所以BP神经网络具有不可重现性；

梯度下降法（最速下降法的改进）：

针对算法的不足出现了几种BP算法的改进。

动量法

动量法是在标准BP算法的权值更新阶段引入动量因子α（0