如果您喜欢这篇文章或者希望及时看到系列文章的下一篇内容，请点击右上方的“关注”。感谢您的支持和鼓励！

该系列历史文章如下，点击链接可查看：

「算法」深度学习中必须知道的数学知识 - 1. 概述

「算法」深度学习中必须知道的数学知识 - 2. 神经元的数学表示

「算法」深度学习中必须知道的数学知识 - 3. 激活函数 神经元的工作

「算法」深度学习中必须知道的数学知识 - 4. 什么是神经网络

「算法」深度学习中必须知道的数学知识 - 5. 讲解神经网络的结构

「算法」深度学习中必须知道的数学知识 - 6. 翻译为神经网络的语言

「算法」深度学习中必须知道的数学知识 - 7. 网络自学习的神经网络

本节我们来看一下神经网络世界中频繁出现的函数。虽然它们都是基本的函数，但是对于神经网络是不可缺少的。

一次函数

在数学函数中最基本、最重要的就是一次函数。它在神经网络的世界里也同样重要。这个函数可以用下式表示。

a 称为斜率， b 称为截距。

当两个变量 x、 y 满足式 (1) 的关系时，称变量 y 和变量 x 是一次函数关系。

一次函数的图像如下图的直线所示。

例1 一次函数 y = 2x + 1 的图像如下图所示，截距为 1，斜率为 2。

以上是一个自变量的情形。这个一次函数关系也同样适用于多个自变量的情形。例如，有两个变量 x1、 x2，当它们满足下式的关系时，称 y和 x1、 x2 是一次函数关系。

我们将会在后面讲到，在神经网络中，神经单元的加权输入可以表示为一次函数关系。例如，神经单元有三个来自下层的输入，其加权输入 z 的式子如下所示。

如果把作为参数的权重 w1、 w2、 w3 与偏置 b 看作常数，那么加权输入 z 和 x1、 x2、 x3 是一次函数关系。另外，在神经单元的输入 x1、 x2、 x3作为数据值确定了的情况下，加权输入 z 和权重 w1、 w2、 w3 以及偏置 b是一次函数关系。用误差反向传播法推导计算式时，这些一次函数关系使得计算可以简单地进行。

问题1： 作出一次函数 y = - 2x - 1 的图像。

解 如下图所示，截距是 - 1，斜率是 - 2。

备注 自变量

有两个变量 x 和 y，如果对每个 x 都有唯一确定的 y 与它对应，则称 y 是 x 的函数，用 y = f (x) 表示。此时，称 x 为自变量， y 为因变量。

二次函数

在数学函数中， 二次函数与一次函数同样重要。我们所说的代价函数使用了二次函数。二次函数由下式表示。

二次函数的图像是把物体抛出去时物体所经过的轨迹，也就是抛物线（下图）。这个图像中重要的一点是， a 为正数时图像向下凸，从而存在最小值。这个性质是后面讲到的最小二乘法的基础。

例2 二次函数 y = (x - 1)2 + 2 的图像如下图所示。从图像中可以看到，当 x = 1 时，函数取得最小值 2。

以上考察了一个自变量的情形。这里考察的性质在推广到多个自变量的情形时也是不变的。例如，有两个自变量 x1、 x2 时，称下面的函数为关于 x1、 x2 的二次函数。

例3

这里， a、 b、 c、 p、 q、 r 为常数， a ≠ 0， c ≠ 0。

对于有两个以上的自变量的情形，就难以在纸面上画出图像了。例如，只能像下图那样画出式 (3) 的图像。

实际的神经网络需要处理更多变量的二次函数。不过，记住这里考察的二次函数的图像后，在理解多变量的情形时应该不难。

注：式 (3) 所示的图像并不仅限于上图所示的抛物面。

问题2 试作出二次函数 y = 2x^2 的图像。

解 图像如右图所示。

单位阶跃函数

神经网络的原型模型是用单位阶跃函数作为激活函数的，它的图像如下所示。

我们用式子来表示单位阶跃函数。

从这个式子我们可以知道，单位阶跃函数在原点处不连续，也就是在原点不可导。由于这个不可导的性质，单位阶跃函数不能成为主要的激活函数。

问题3： 在单位阶跃函数 u(x) 中，求下面的值。

① u( - 1) ② u(1) ③ u(0)

解： 答案依次为 0、 1、 1。

指数函数与 Sigmoid 函数

具有以下形状的函数称为指数函数。

常数 a 称为指数函数的底数。 e 是一个特别重要的底数，其近似值如下。

e = 2.71828 ...

这个指数函数包含在以下的 Sigmoid 函数 σ(x) 的分母中。 Sigmoid 函数是神经网络中具有代表性的激活函数。

注：exp 是 exponential function（指数函数）的简略记法，exp(x) 表示指数函数 ex。

这个函数的图像如右图所示。可以看出，这个函数是光滑的，也就是处处可导。函数的取值在 0 和 1 之间，因此函数值可以用概率来解释。

问题4： 在 Sigmoid 函数 σ(x) 中，求以下函数值的近似值。

① σ( - 1) ② σ(0) ③ σ(1)

解： 取 e = 2.7 作为近似值，答案依次为 0.27、 0.5、 0.73。

正态分布的概率密度函数

用计算机实际确定神经网络时，必须设定权重和偏置的初始值。求初始值时， 正态分布（ normal distribution）是一个有用的工具。使用服从这个分布的随机数，容易取得好的结果。

正态分布是服从以下概率密度函数 f(x) 的概率分布

其中常数 µ 称为期望值（ 平均值）， σ 称为标准差。它的图像如下图所示，由于形状像教堂的钟，所以称为钟形曲线。

问题5： 试作出期望值 µ 为 0、标准差 σ 为 1 的正态分布的概率密度函数的图像。

解： 如下图所示，这个正态分布称为标准正态分布。

按照正态分布产生的随机数称为正态分布随机数。在神经网络的计算中，经常用到正态分布随机数作为初始值。

备注： Excel中的正态分布随机数

在 Excel 中，可以像下面这样产生正态分布随机数。

= NORM.INV(RAND(), µ, σ) （ µ、 σ 是期望值和标准差）