损失函数基本概念

损失函数是用来评估模型预测值与真实值的不一致程度，它是一个值为非负实数的函数。损失函数越小，模型的鲁棒性就越好，就表示算法越接近意义上的最优。我们训练模型的过程，就是通过不断的迭代计算，使用梯度下降等优化算法不断调整参数，使得损失函数越来越小。PyTorch使用mini-batch来进行计算，因此PyTorch中损失函数计算出来的结果已经对mini-batch取了平均。

常见损失函数及基本用法

PyTorch中损失函数可以通过torch.nn获取，基本用法如下：

# 每个损失函数的构造函数都会有自己的参数 criterion = LossCriterion()loss = criterion(x, y)

PyTorch内置的常用的损失函数主要有如下几种。

nn.L1Loss

L1范数损失，计算的是输入x和目标y之间差的绝对值，其中，x和y的维度必须一致，得到的loss维度也是对应一样的。

L1Loss计算公式

nn.L1Loss的基本用法如下。

L1Loss基本用法

nn.NLLLoss

负对数似然损失函数，通常用于训练指定类别数的分类问题。

NLLLoss计算公式

nn.NLLLoss的基本用法如下。

NLLLoss基本用法

NLLLoss中如果传递了weights参数，会对损失函数进行加权，公式就变成了如下形式。

加入weights参数的NLLLoss公式

nn.MSELoss

均方损失函数，计算的是输入x和目标y之间的均方差。

MSELoss公式

nn.MSELoss的基本用法如下。

MSELoss基本用法

nn.CrossEntropyLoss

多分类用的交叉熵损失函数，LogSoftMax和NLLLoss集成到一个类中，会调用nn.NLLLoss函数，我们可以理解为CrossEntropyLoss( )=log_softmax( )+NLLLoss( )。

CrossEntropyLoss公式

nn.CrossEntropyLoss的基本用法如下。

CrossEntropyLoss基本用法

因为使用了NLLLoss，因此CrossEntropyLoss也可以传入weights参数，此时公式就变成了如下形式。

加入weights参数的CrossEntropyLoss公式

一般多分类的情况下就会选择此函数作为损失函数。

nn.BCELoss

输入x和目标y之间的二进制交叉熵，通常用于二分类任务，测试重构的误差。

BCELoss公式

nn.BCELoss的基本用法如下。

BCELoss基本用法

与NLLLoss类似，BCELoss也可以添加权重参数weights，此时公式变成如下形式。

加入weights参数后的BCELoss公式

注意，使用时需要在该层前面加上一个Sigmoid( )函数。