BCE损失函数论文解析：从数学原理到PyTorch实战

1次阅读

共计 2237 个字符，预计需要花费 6 分钟才能阅读完成。

在二分类任务中，交叉熵损失（Cross-Entropy Loss）是最常用的损失函数之一。然而，许多开发者容易混淆二分类交叉熵（Binary Cross-Entropy, BCE）和多分类交叉熵（Categorical Cross-Entropy）的区别。BCE 损失函数专门用于二分类问题，其核心思想是通过衡量预测概率分布与真实标签分布之间的差异来优化模型。与多分类交叉熵不同，BCE 损失函数通常与 sigmoid 激活函数配合使用，而不是 softmax。这种混淆可能导致模型训练效果不佳，尤其是在处理类别不平衡问题时。

BCE 损失函数的数学定义如下：

$$
L = -\frac{1}{N} \sum_{i=1}^N [y_i \log(p_i) + (1 – y_i) \log(1 – p_i)]
$$

其中，(y_i)是真实标签（0 或 1），(p_i)是模型预测的概率（经过 sigmoid 函数后的输出）。这个公式的核心在于对每个样本的预测概率和真实标签的对数似然进行加权求和。

当 sigmoid 函数与 BCE 损失函数结合时，梯度计算具有以下特性：

$$
\frac{\partial L}{\partial z_i} = p_i – y_i
$$

这里，(z_i)是 sigmoid 函数的输入（即模型的原始输出）。这个梯度公式表明，梯度的大小直接取决于预测概率与真实标签之间的差异，这使得优化过程更加高效。

PyTorch 提供了BCEWithLogitsLoss，它结合了 sigmoid 激活和 BCE 损失，并且具有数值稳定性优化。以下是一个简单的示例：

import torch
import torch.nn as nn

# 定义模型和损失函数
model = nn.Linear(10, 1)
criterion = nn.BCEWithLogitsLoss()

# 模拟输入数据和标签
inputs = torch.randn(32, 10)
labels = torch.randint(0, 2, (32, 1)).float()

# 前向传播和损失计算
outputs = model(inputs)
loss = criterion(outputs, labels)
print(loss)

为了更深入理解 BCE 损失，我们可以手动实现它：

def manual_bce_with_logits(outputs, labels):
    # 使用 sigmoid 计算概率
    probs = torch.sigmoid(outputs)
    # 计算 BCE 损失
    loss = - (labels * torch.log(probs) + (1 - labels) * torch.log(1 - probs)).mean()
    return loss

# 对比 PyTorch 内置函数和手动实现
loss_manual = manual_bce_with_logits(outputs, labels)
print(f"Manual BCE: {loss_manual.item()}")
print(f"PyTorch BCE: {loss.item()}")

pos_weight参数用于处理类别不平衡问题。例如，如果正样本数量是负样本的 2 倍，可以设置pos_weight=torch.tensor([0.5])：

criterion = nn.BCEWithLogitsLoss(pos_weight=torch.tensor([0.5]))
loss = criterion(outputs, labels)
print(loss)

在计算 BCE 损失时，直接使用对数函数可能会导致数值不稳定问题，尤其是当预测概率接近 0 或 1 时。PyTorch 的 BCEWithLogitsLoss 通过内置的 log-sum-exp 技巧避免了这个问题。具体来说，它使用了以下等价形式：

$$
L = \frac{1}{N} \sum_{i=1}^N \max(z_i, 0) – z_i y_i + \log(1 + e^{-|z_i|})
$$

这种形式避免了直接计算 (\log(p_i)) 和(\log(1 – p_i))，从而提高了数值稳定性。

错误使用 softmax：在二分类任务中，softmax 通常用于多分类问题。使用 softmax 代替 sigmoid 会导致模型无法正确学习。
忽略输入尺度敏感性：BCE 损失对输入的尺度非常敏感。如果输入值过大或过小，sigmoid 函数的梯度可能会消失。建议在训练前对输入数据进行标准化。
未处理类别不平衡 ：在类别不平衡的数据集上，直接使用 BCE 损失可能会导致模型偏向多数类。可以通过设置pos_weight 参数或使用加权损失来解决。

我们对比了 CPU 和 GPU 上的计算效率。以下是测试结果：