一、什么是人工神经网络？

人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。人工神经网络基本结构：输入层、隐含层和输出层，其往往包含以下几个特点，如下图所示：

通常一个神经网络由一个input layer，多个hidden layer和一个output layer构成。图中圆圈可以视为一个神经元（又可以称为感知器）设计神经网络的重要工作是设计hidden layer，及神经元之间的权重添加少量隐层获得浅层神经网络SNN；隐层很多时就是深层神经网络DNN

二、人工神经网络分类

人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。目前，已有近40种神经网络模型，其中有反传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、适应谐振理论等。根据连接的拓扑结构，神经网络模型可以分为：

前向网络：网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。 反馈网络：网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。

三、引入人工神经网络的意义

人工神经网络，主要是在机器学习中充当分类器的所用，线性回归和Logistic回归同样可以满足分类，那为什么还需要人工神经网络？

先看下面左图，在样本空间中，使用颜色将样本标注为不同类别，这样样本点所构成的集合之间没有交集，或者说交集的样本可以忽略，类似这种情况都被称为线性可分。直觉上，线性可分的两类样本集合之间存在的决策平面（超平面）是线性的，即它是一个n元一次的方程。在二维空间中，如图一所示，一条直线就能把它们分开。这类问题属于线性回归和Logister回归范畴。

再观察右图，主观上红色和蓝色的样本点不能被一条直线分隔开，即决策边界（分割超平面）不是线性的，因此线性不可分。而此类情况，其决策边界应该是一个n元m次的方程(m>1)。针对此类问题，我们就需要引入人工神经网络进行分类。

四、人工神经网络原理

下面给出的是神经网络如何学习的一个简化表示：

在神经网络中随机初始化权重我们将第一组输入值发送给神经网络，使其传播通过网络并得到输出值。我们将输出值和期望的输出值进行比较，并使用成本函数计算误差。我们将误差传播回网络，并根据这些信息设置权重。对于训练集中的每个输入值，重复2至4的步骤。当整个训练集都发送给了神经网络，我们就完成了一个epoch, 之后重复多次epochs。