BCE损失函数计算公式详解：从数学原理到PyTorch实战

1次阅读

没有评论

共计 1761 个字符，预计需要花费 5 分钟才能阅读完成。

二元交叉熵（Binary Cross-Entropy, BCE）本质上源于最大似然估计。假设预测目标服从伯努利分布，对于单个样本有：

$$ L = -[y \log(p) + (1-y) \log(1-p)] $$

其中 $y$ 是真实标签（0 或 1），$p$ 是预测概率（sigmoid 输出）。当使用 logit（未激活的原始输出 $z$）时，公式可改写为：

$$ L = \log(1 + e^{-yz}) $$

这种形式的推导过程如下：

将 $p = \sigma(z) = 1/(1+e^{-z})$ 代入原式
利用对数性质展开得到 $L = -[y(-\log(1+e^{-z})) + (1-y)(z – \log(1+e^{z}))]$
合并同类项后即可得到更稳定的计算形式

PyTorch 提供两种实现方式，核心差异在于数值稳定性处理：

nn.BCELoss要求输入已通过 sigmoid 激活
nn.BCEWithLogitsLoss内置 sigmoid+logsumexp 优化

源码中的关键技巧：

# BCEWithLogitsLoss 的稳定实现
max_val = (-input).clamp(min=0)
loss = input - input * target + max_val + ((-max_val).exp() + (-input - max_val).exp()).log()

import torch
import torch.nn as nn

# 自定义加权 BCE（处理类别不平衡）class WeightedBCE(nn.Module):
    def __init__(self, pos_weight=1.0):
        super().__init__()
        self.pos_weight = torch.tensor(pos_weight)

    def forward(self, inputs, targets):
        # 添加 epsilon 防止数值爆炸
        epsilon = 1e-7
        loss = - (self.pos_weight * targets * torch.log(inputs + epsilon) + 
                 (1 - targets) * torch.log(1 - inputs + epsilon))
        return loss.mean()

# 使用示例
model = SimpleCNN()  # 假设的模型
criterion = WeightedBCE(pos_weight=10)  # 正样本权重
optimizer = torch.optim.Adam(model.parameters())

for epoch in range(epochs):
    for x, y in dataloader:
        pred = model(x)
        loss = criterion(torch.sigmoid(pred), y)  # 显式 sigmoid
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

常见问题及解决方案：