ASL非对称损失函数在类别不平衡问题中的实战应用与调优

1次阅读

共计 1927 个字符，预计需要花费 5 分钟才能阅读完成。

在医疗影像分析中，我们常常遇到这样的场景：正常样本可能有数万张，而某种罕见病的阳性样本仅有几十例。传统交叉熵损失函数会倾向于将所有样本预测为多数类，因为这样就能轻松获得很高的准确率——但这对实际应用毫无价值。

某三甲医院的肺结节检测项目中，正常样本占比 98.7%，模型准确率高达 99% 却漏诊了 83% 的真实患者
信用卡欺诈检测中，欺诈交易仅占 0.01%，基线模型将所有交易预测为正常

先看三种损失函数的数学本质：

加权交叉熵(Weighted CE)：
$$L_{wce} = -\alpha y\log(p) – (1-\alpha)(1-y)\log(1-p)$$
通过固定权重 α 人为提升少数类重要性
Focal Loss：
$$L_{focal} = -y(1-p)^\gamma\log(p) – (1-y)p^\gamma\log(1-p)$$
用单一 γ 参数同时降低易分类样本的权重
ASL的核心改进：
$$L_{asl} = -y(p_{pos})^{\gamma_+}\log(p_{pos}) – (1-y)(p_{neg})^{\gamma_-}\log(1-p_{neg})$$
其中 $p_{pos}=max(p-m,0)$, $p_{neg}=max((1-p)-m,0)$
关键突破：引入 margin 参数 m 创建概率阈值，并允许正负样本使用不同的调节强度(γ+ 和 γ -)
业务语义：对少数类 (γ+) 更敏感，对多数类 (γ-) 更鲁棒

class AsymmetricLoss(nn.Module):
    def __init__(self, gamma_pos=1.0, gamma_neg=0.2, margin=0.05):
        """
        :param gamma_pos: 正样本调节因子(建议 0.5-2.0)
        :param gamma_neg: 负样本调节因子(建议 0.1-0.5) 
        :param margin: 概率裁剪阈值(过滤掉 0.95 以上的高置信度预测)
        """
        super().__init__()
        self.gamma_pos = gamma_pos
        self.gamma_neg = gamma_neg
        self.margin = margin

    def forward(self, logits, targets):
        # 计算 sigmoid 概率
        probs = torch.sigmoid(logits)

        # 正负样本分别应用 margin
        pos_probs = torch.clamp(probs - self.margin, min=0)
        neg_probs = torch.clamp((1 - probs) - self.margin, min=0)

        # 非对称权重计算
        pos_loss = -targets * (pos_probs ** self.gamma_pos) * torch.log(pos_probs + 1e-8)
        neg_loss = -(1 - targets) * (neg_probs ** self.gamma_neg) * torch.log(1 - neg_probs + 1e-8)

        return (pos_loss + neg_loss).mean()

# 集成示例
model = ResNet50()
criterion = AsymmetricLoss(gamma_pos=0.7, gamma_neg=0.3)
optimizer = torch.optim.Adam(model.parameters())

在 CIFAR-10 人为构造的 10:1 不平衡数据上：