PyTorch交叉熵理解

PyTorch 中的交叉熵损失

CrossEntropyLoss

PyTorch 中使用CrossEntropyLoss 计算交叉熵损失，常用于分类任务。交叉熵损失衡量了模型输出的概率分布与实际标签分布之间的差异，目标是最小化该损失以优化模型。

我们通过一个具体的案例来详细说明 CrossEntropyLoss 的计算过程。

假设我们有一个简单的分类任务，共有 3 个类别。我们有 2 个样本的预测和实际标签。

输入

• 模型的预测（logits，未经过 softmax 激活）

• 实际标签

import torch
import torch.nn as nn

# 模型的预测（logits）
logits = torch.tensor([[2.0, 1.0, 0.1],
                       [0.5, 2.0, 0.3]])

# 实际标签
labels = torch.tensor([0, 2])

计算步骤

• 步骤 1: Softmax 激活

首先，将 logits 通过 softmax 激活函数转换为概率分布。

softmax = nn.Softmax(dim=1)
probabilities = softmax(logits)
print(probabilities)

输出

tensor([[0.6590, 0.2424, 0.0986],
        [0.1587, 0.7113, 0.1299]])

• 步骤 2: 计算交叉熵

交叉熵损失的计算公式为：

$CrossEntropyLoss=-{\sum }_{i=1}^N\log (p_{i,y_i})$

其中 N 是样本数量，$p_{i,y_i}$是第 i个样本在实际标签 $y_i$ 位置上的预测概率。

我们手动计算每个样本的交叉熵损失：

• 对于第一个样本，实际标签为 0，预测概率为 0.6590

${loss}_1=-\log (0.6590)\approx 0.4171$

• 对于第二个样本，实际标签为 2，预测概率为 0.1299

${loss}_2=-\log (0.1299)\approx 2.0406$

平均损失为：

$mean=\frac{0.4171+2.0406}{2}\approx 1.2288$

• 步骤 3: 使用 PyTorch 的 CrossEntropyLoss 计算

我们使用 PyTorch 的 CrossEntropyLoss 函数来验证计算结果：

criterion = nn.CrossEntropyLoss()
loss = criterion(logits, labels)
print(loss.item())

输出

1.2288230657577515

• 步骤4：依据公式使用 PyTorch 计算

依据前面的公式使用 PyTorch 计算来验算结果

neg_log_p = -torch.log(probabilities)
loss_cal = neg_log_p[torch.arange(neg_log_p.shape[0]), labels].mean()
print(loss_cal.item())

输出

1.228823184967041

结果基本一致。

总结

1. CrossEntropyLoss 接受未经过 softmax 的 logits 作为输入。

2. 内部首先对 logits 应用 softmax，将其转换为概率分布。

3. 然后根据实际标签计算交叉熵损失。