BCE损失函数在类别不平衡场景下的优化策略与实践

1次阅读

共计 1987 个字符，预计需要花费 5 分钟才能阅读完成。

在分类任务中，类别不平衡问题随处可见。例如在医疗诊断中，健康样本远多于患病样本；在欺诈检测中，正常交易远多于欺诈交易。这种不平衡会导致模型训练时过度关注多数类，而忽略少数类。

BCE（Binary Cross Entropy）损失函数是二分类任务中最常用的损失函数之一，其数学表达式为：

L = -[y*log(p) + (1-y)*log(1-p)]

其中 y 是真实标签，p 是预测概率。标准 BCE 假设正负样本同等重要，这在类别平衡时表现良好，但在不平衡时就会出现问题。

标准 BCE 在类别不平衡时主要有三个缺陷：

梯度主导问题：多数类样本贡献的梯度会主导参数更新方向
样本忽略问题：模型会倾向于将所有样本预测为多数类来最小化损失
置信度问题：即使预测正确，少数类样本的损失值仍然较大

加权 BCE 通过给不同类别分配不同权重来解决不平衡问题：

L = -[w_pos*y*log(p) + w_neg*(1-y)*log(1-p)]

权重设置经验：
– 权重比通常设为类别频率的反比
– 实践中常用 sqrt(频率比) 作为权重

优点：实现简单，计算量小
缺点：固定权重可能无法适应不同样本难度

Focal Loss 通过降低易分类样本的权重来聚焦困难样本：

L = -[y*(1-p)^γ*log(p) + (1-y)*p^γ*log(1-p)]

其中 γ 是调节参数，通常取 2

优点：自动调整样本权重，对困难样本更敏感
缺点：需要调参，可能增加训练不稳定

以下是 PyTorch 实现的完整示例：

import torch
import torch.nn as nn
import torch.optim as optim

# 加权 BCE 实现
class WeightedBCE(nn.Module):
    def __init__(self, pos_weight=1.0, neg_weight=1.0):
        super().__init__()
        self.pos_weight = pos_weight
        self.neg_weight = neg_weight

    def forward(self, input, target):
        # 计算基础 BCE
        bce_loss = nn.BCEWithLogitsLoss(reduction='none')(input, target)
        # 应用权重
        weights = torch.where(target == 1, self.pos_weight, self.neg_weight)
        return (bce_loss * weights).mean()

# Focal Loss 实现
class FocalLoss(nn.Module):
    def __init__(self, gamma=2.0, alpha=0.25):
        super().__init__()
        self.gamma = gamma
        self.alpha = alpha

    def forward(self, input, target):
        bce_loss = nn.BCEWithLogitsLoss(reduction='none')(input, target)
        pt = torch.exp(-bce_loss)
        focal_loss = (self.alpha * (1-pt)**self.gamma * bce_loss).mean()
        return focal_loss

# 训练循环示例
model = YourModel()
criterion = FocalLoss()  # 或 WeightedBCE(pos_weight=10.0)
optimizer = optim.Adam(model.parameters())

for epoch in range(100):
    for data, target in dataloader:
        optimizer.zero_grad()
        output = model(data)
        loss = criterion(output, target)
        loss.backward()
        optimizer.step()

我们在 Credit Card Fraud Detection 数据集上对比了不同方法：