龙空技术网

深度学习中常用的激励函数有哪些?

自由坦荡的湖泊AI 68

前言:

当前咱们对“神经网络 激励函数”大概比较关注,咱们都需要知道一些“神经网络 激励函数”的相关内容。那么小编在网摘上汇集了一些有关“神经网络 激励函数””的相关内容,希望看官们能喜欢,同学们一起来学习一下吧!

激励函数是神经网络中的一种重要组成部分,它可以将神经元的输入转换为输出,从而实现非线性变换。激励函数的作用是增强神经网络的表达能力,解决线性模型所不能解决的问题,以及提供神经网络的稀疏表达能力。

深度学习中常用的非线性激励函数有以下几种:

Sigmoid函数:它能够把输入的连续实值变换为0和1之间的输出,具有平滑性和饱和性,但也存在一些缺点,如梯度消失、输出不是零均值、计算量较大等。

tanh函数:它是Sigmoid函数的变形,它能够把输入的连续实值变换为-1和1之间的输出,解决了Sigmoid函数输出不是零均值的问题,但仍然存在梯度消失和计算量较大的问题。

ReLU函数:它是一个分段线性函数,它能够把输入的负值变为0,而保持正值不变,具有简单、快速、稀疏等优点,但也存在一些问题,如输出不是零均值、死亡ReLU等。

Leaky ReLU函数:它是ReLU函数的改进版,它能够把输入的负值变为一个很小的正值,而保持正值不变,解决了死亡ReLU的问题,但仍然存在输出不是零均值的问题。

ELU函数:它是另一种改进版的ReLU函数,它能够把输入的负值变为一个指数函数值,而保持正值不变,具有零均值、饱和性、稀疏性等优点,但计算量较大。

标签: #神经网络 激励函数