深入解析BCE损失函数：从数学原理到PyTorch实战

1次阅读

没有评论

共计 2700 个字符，预计需要花费 7 分钟才能阅读完成。

二分类交叉熵（Binary Cross-Entropy, BCE）损失函数在深度学习中扮演着核心角色，特别是在二分类和多标签分类任务中。它的不可替代性主要体现在两个方面：

概率解释性：BCE 损失直接建模概率输出，与 sigmoid 激活函数天然匹配，能够提供清晰的概率解释。
信息论基础：BCE 源自信息论中的 KL 散度，最小化 BCE 等价于最小化预测分布与真实分布之间的差异。

对于多标签分类任务，BCE 的变体——称为多标签 BCE 或多标签 soft margin loss——通过对每个标签独立应用 BCE 损失并求和或平均来实现。这种变体允许一个样本同时属于多个类别，是图像标注、文本分类等任务的标配。

给定真实标签 (y \in {0,1} ) 和预测概率 (\hat{y} = \sigma(z) )（其中 (\sigma) 是 sigmoid 函数），BCE 损失定义为：

[L = -[y \log(\hat{y}) + (1-y) \log(1-\hat{y})] ]

对 logits (z) 的梯度推导如下：

sigmoid 函数的导数为 (\sigma'(z) = \sigma(z)(1-\sigma(z)) ).
损失对 (z) 的梯度为：

[\frac{\partial L}{\partial z} = \frac{\partial L}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial z} = \left(-\frac{y}{\hat{y}} + \frac{1-y}{1-\hat{y}} \right) \cdot \hat{y}(1-\hat{y}) = \hat{y} – y ]

这个简洁的结果表明，梯度直接等于预测误差，这使得 BCE 在反向传播中非常高效。

实际计算时，直接使用 logits (z) 可以避免数值问题。利用 log-sum-exp 技巧，BCE 可以稳定地实现为：

[L = \max(z, 0) – z \cdot y + \log(1 + e^{-|z|}) ]

这种实现方式避免了 sigmoid 和 log 函数的数值溢出问题，尤其适合 FP16 混合精度训练。

import torch
import torch.nn as nn

class WeightedBCEWithLogitsLoss(nn.Module):
    def __init__(self, pos_weight=None, ignore_index=-100):
        super().__init__()
        self.pos_weight = pos_weight
        self.ignore_index = ignore_index

    def forward(self, input, target):
        # 处理 ignore_index
        mask = target != self.ignore_index
        input = input[mask]
        target = target[mask]

        # 自动计算正样本权重
        if self.pos_weight is None:
            num_pos = target.sum()
            num_neg = len(target) - num_pos
            self.pos_weight = num_neg / (num_pos + 1e-6)

        loss = torch.nn.functional.binary_cross_entropy_with_logits(input, target.float(), 
            pos_weight=self.pos_weight,
            reduction='mean'
        )
        return loss

def test_gradient():
    # 创建测试数据
    logits = torch.randn(10, requires_grad=True, dtype=torch.float64)
    targets = torch.randint(0, 2, (10,), dtype=torch.float64)

    # 使用 torch.autograd.gradcheck 验证
    test_pass = torch.autograd.gradcheck(
        lambda x: torch.nn.functional.binary_cross_entropy_with_logits(x, targets, reduction='sum'),
        (logits,),
        eps=1e-6,
        atol=1e-4
    )
    print(f"Gradient test passed: {test_pass}")