BCE损失函数原理图解与实战优化：解决类别不平衡问题的关键策略

1次阅读

没有评论

共计 1994 个字符，预计需要花费 5 分钟才能阅读完成。

在二分类任务中，当数据存在类别不平衡（如正负样本比例 1:100）时，标准二元交叉熵（BCE）损失函数会导致模型预测偏向多数类。通过混淆矩阵可以清晰看到这种现象：

多数类（负样本）的高准确率掩盖了少数类（正样本）的低召回率
评估指标如准确率（Accuracy）严重失真，而 F1-score 更能反映真实性能

从数学角度看，标准 BCE 损失函数为：

$$
L = -[y\log(p) + (1-y)\log(1-p)]
$$

当正样本比例极低时（p(y=1)<<0.5），损失函数对正样本的梯度会迅速衰减：

$$
\frac{\partial L}{\partial z} = p – y \approx p \quad \text{(当 y = 0 时)}
$$

这导致模型难以学习到少数类的有效特征。

针对类别不平衡问题，主流解决方案有：

样本重加权（class_weight）：通过调整损失函数中不同类别的权重，使少数类样本对总损失的贡献更大。适用于类别比例固定的场景。
标签平滑（label_smoothing）：通过软化硬标签（如将 0 / 1 变为 0.1/0.9），减少模型对多数类的过度自信。适用于存在标签噪声的情况。
Focal Loss：通过调制因子降低易分类样本的权重，使模型更关注难样本。适用于极端不平衡且难样本多的场景（如医学图像）。

选择建议：

医疗诊断等重视 recall 的场景：优先使用 Focal Loss
金融风控等需要平衡 FP/FP 的场景：推荐加权 BCE
当标签可能存在噪声时：结合标签平滑

import torch
import torch.nn as nn
import torch.nn.functional as F

class BalancedBCELoss(nn.Module):
    def __init__(self, beta=0.9, clip_value=5.0):
        """
        beta: 控制少数类权重的参数
        clip_value: 梯度裁剪阈值
        """
        super().__init__()
        self.beta = beta
        self.clip_value = clip_value

    def forward(self, y_pred, y_true):
        # 计算类别权重
        pos_weight = (1 - self.beta) / self.beta
        weights = torch.where(y_true == 1, pos_weight, 1.0)

        # 带 logit clipping 的 BCE
        bce_loss = F.binary_cross_entropy_with_logits(y_pred, y_true, reduction='none')

        # 应用权重
        weighted_loss = weights * bce_loss

        # 梯度检查
        if self.training:
            for param in self.parameters():
                if param.grad is not None:
                    param.grad.data.clamp_(-self.clip_value, self.clip_value)

        return weighted_loss.mean()

import tensorflow as tf

@tf.function
def balanced_bce(y_true, y_pred, beta=0.9):
    pos_weight = (1 - beta) / beta
    weights = tf.where(y_true > 0.5, pos_weight, 1.0)
    bce = tf.nn.weighted_cross_entropy_with_logits(labels=y_true, logits=y_pred, pos_weight=pos_weight)
    return tf.reduce_mean(weights * bce)

在 Kaggle Criteo 数据集（正负比 1:20）上的测试结果：