BCEWithLogitsLoss损失函数实战：从原理到避坑指南

1次阅读

共计 2221 个字符，预计需要花费 6 分钟才能阅读完成。

在二分类任务中，交叉熵损失（Cross-Entropy Loss）是最常用的损失函数之一。传统的 BCELoss（Binary Cross-Entropy Loss）需要先对模型的输出进行 Sigmoid 变换，将 logits 压缩到 [0,1] 区间。但这个过程可能导致数值不稳定问题：

当 logits 绝对值很大时（如 100 或 -100），Sigmoid 输出会接近 0 或 1，导致计算 log 时出现 inf
反向传播时可能出现梯度消失或爆炸

BCEWithLogitsLoss 将 Sigmoid 和交叉熵计算合并为一个运算，数学表达式为：

$$\mathcal{L} = -\frac{1}{N}\sum_{i=1}^N [y_i\cdot\log\sigma(x_i) + (1-y_i)\cdot\log(1-\sigma(x_i))]$$

其中 $x_i$ 是模型输出的 logits，$y_i$ 是真实标签，$\sigma$ 是 Sigmoid 函数。PyTorch 实现中使用了 log-sum-exp 技巧来提高数值稳定性：

$$\text{loss} = \text{max}(x,0) – x\cdot y + \log(1 + e^{-|x|})$$

让我们通过代码直观感受两者的差异：

import torch
import torch.nn as nn

# 极端输入值测试
logits = torch.tensor([100.0])
labels = torch.tensor([1.0])

# 传统方法
sigmoid = nn.Sigmoid()
bce = nn.BCELoss()
loss1 = bce(sigmoid(logits), labels)
print(f"Sigmoid+BCELoss: {loss1.item()}")  # 输出 inf

# BCEWithLogitsLoss
bce_logits = nn.BCEWithLogitsLoss()
loss2 = bce_logits(logits, labels)
print(f"BCEWithLogitsLoss: {loss2.item()}")  # 正常计算

import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader

class BinaryClassifier(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc = nn.Linear(10, 1)  # 假设输入特征维度为 10

    def forward(self, x):
        return self.fc(x)  # [batch_size, 1]

# 处理类别不平衡
pos_weight = torch.tensor([3.0])  # 正样本权重
criterion = nn.BCEWithLogitsLoss(pos_weight=pos_weight)

# 标签平滑
def smooth_labels(y, smoothing=0.1):
    return y * (1 - smoothing) + 0.5 * smoothing

# 训练循环
def train(model, loader, optimizer):
    model.train()
    for x, y in loader:
        # x: [batch_size, 10], y: [batch_size, 1]
        y_smooth = smooth_labels(y)  # 应用标签平滑

        optimizer.zero_grad()
        logits = model(x)  # [batch_size, 1]
        loss = criterion(logits, y_smooth)

        # 梯度裁剪
        torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

        loss.backward()
        optimizer.step()

学习率与损失比例：
BCEWithLogitsLoss 的输出范围较大，建议使用较小的学习率（如 1e- 4 到 1e-3）
监控损失值变化，如果出现 NaN，考虑减小学习率或增加梯度裁剪

梯度验证：

input = torch.randn(3, requires_grad=True)
target = torch.empty(3).random_(2)
criterion = nn.BCEWithLogitsLoss()
print(torch.autograd.gradcheck(criterion, (input, target)))