一、 介绍

RBF神经网络模型是1988年由Moody和Darken提出的一种神经网络结构，属于前向神经网络类型，能够以任意精度逼近任意连续函数，特别适合于解决分类问题

二、径向基函数

径向基函数是取值仅仅依赖于离原点距离的实值函数即 φ(x)=φ(||x||)φ(x)=φ(||x||) （也可以是离任意点的距离，距离一般使用欧式距离[欧式径向基函数]，也可以是其他距离函数），任何满足该特性的函数都φ都叫做径向基函数，通常定义为空间中任一点x到某一中心c之间欧氏距离的单调函数

常见的径向基函数包括（定义 为中心点r=||x−ci||[ci为中心点]r=||x-c_i || [c_i 为中心点] ，σ称为径向基函数的扩展函数（方差），它反应了函数图像的宽度，σ越小，宽度越窄，函数越具有选择性）

三、 结构

RBF网络是一种三层前向网络，第一层为由信号源节点组成的输入层，第二层为隐层，隐单元数视问题需要而定，隐单元的变换函数为非负非线性的函数RBF（径向基函数），第三层为输出层，输出层是对隐层神经元输出的线性组合

四、 RBF神经网络的两种模型

1) 正则化RBF网络（通用逼近器）

径向基函数解决插值问题

RBF的方法是选择P个基函数（即径向基函数 φ(||X−Xi||)φ(||X-X_i ||) ），每个基函数对应一个数据，则基于径向基函数的差值函数为：

其中P为样本容量

将插值条件代入得

写成向量形式即

当Φ可逆时权向量为

正则化RBF网络

完全插值存在过拟合的问题，且不适定问题大量存在（不适定即超定，即函数个数等于训练样本数，当训练样本数远远大于物理过程中的自由度时，就称问题超定，拟合函数满足解的存在性、解的唯一性、解的连续性称问题适定），为解决该问题，引入正则化RBF网络

最小化目标函数来获得逼近函数

目标函数为(Tikhonov正则化理论)：

目标函数第一项为均方误差，第二项为正则化项，其中D是一个线性微分算子，代表F(x)的先验知识，曲率大（光滑度低）的F(x)||DF||大，λ为正则化系数

最小化目标函数得到

则权向量为

其中 G(X,Xp)G(X,X_p ) 为Green函数，具体形式与算子D有关（Green函数的一个重要例子是多元Gauss函数），G为Green矩阵

正则化RBF网络的特点

1、 正则化网络是一种通用逼近器，只要有足够的节点，它可以以任意精度逼近任意多元连续函数

2、 具有最佳逼近特性，即对于任意非线性函数，总可以找到一组权值使得网络对于该函数的逼近优于所有可能选择

3、 隐节点数等于输入样本数，隐节点的激活函数为Green（格林）函数

2) 广义RBF网络（模式分类）

正则化RBF网络的训练样本与基函数是一一对应关系，在样本数很大时，网络的计算量大且权值矩阵也很大，求解时易出现病态问题，解决这个问题可以减少隐节点的个数（即隐节点个数大于样本特征数小于样本数），从而得到广义RBF神经网络

基本思想：

用径向基函数作为隐单元的“基”，构成隐层空间。隐层对输入向量进行变换，将低维空间的模式变换到高维空间中，使低维空间线性不可分的问题在高维空间内线性可分，然后用输出层来进行线性划分，完成分类功能

与正则化RBF网络的不同

1、径向基函数的个数与样本数不相等且大概率远小于样本数

2、径向基函数的中心不再限制在数据点而由训练算法确定

3、径向基函数的扩展常数不再统一而由训练算法决定

4、输出函数中包含阈值参数，用于补偿基函数在样本集上的平均值与目标值的平均值之间的差别

五、 RBF学习算法

RBF学习的三个参数

1、 基函数的中心 ci

2、 方差（扩展常数） σi

3、 隐层与输出层间的权值 wij

当采用正则化RBF网络结构时，隐节点数即样本数，基函数的数据中心即样本本身，参数设计只需考虑扩展常数和输出节点权值

当采用广义RBF网络结构时，RBF网络的学习算法需要解决的问题包括：如何确定网络隐节点数，如何确定各径向基函数的数据中心及扩展常数，以及如何修正输出权值

自组织中心选取法

1989年，Moody和Darken提出了一种由两个阶段组成的混合学习过程的思路（两个阶段即无监督的自组织学习阶段和有监督学习阶段）

无监督的自组织学习阶段

1、 中心学习

估计中心的个数h，从而确定隐节点个数（一般通过试验来确定）,并应用KMeans聚类算法确定数据中心

2、 确定扩展常数 σi(i=1,2,⋯,h) σ_i (i=1,2,⋯,h)

其中 dmind_{min} 为所选取中心点的最小距离，λ为重叠系数

在监督学习阶段

3、学习权值 为输出层节点数wij(i=1,2,⋯,h;j=1,2,⋯J),J为输出层节点数w_{ij}(i=1,2,⋯,h;j=1,2,⋯J),J为输出层节点数

常用LMS法（最小均方算法），伪逆法更简单

六、RBF网络与BP网络的区别

对于任何一个BP网络，总存在一个RBF网络可以代替它，反之亦然，他们的不同点在于：

1、 RBF网络只有一个隐层，而BP网络不限制隐层的个数

2、 BP网络隐层和输出层神经元模型相同，而RBF网络不仅不同，且在网络中的作用也不同

3、 BP网络是对非线性映射的全局逼近，而RBF网络是对非线性映射的局部逼近，训练速度更快

七、 参考文档

1、 径向基函数（RBF）神经网络

2、 深度学习 --- 径向基神经网络RBF详解

3、 RBF神经网络学习算法

4、 RBF（径向基）神经网络

#今日头条小助手##神经网络#