ASL损失函数原理剖析与实战：解决多标签分类中的样本不平衡问题

1次阅读

没有评论

共计 2733 个字符，预计需要花费 7 分钟才能阅读完成。

多标签分类任务中，每个样本可能属于多个类别（如一张图片包含 ” 猫 ” 和 ” 狗 ” 两个标签）。这类任务常面临两个核心问题：

样本不平衡 ：某些标签的出现频率远高于其他标签（如医疗影像中 ” 正常 ” 样本远多于 ” 肿瘤 ” 样本）
负样本主导 ：对于单个标签而言，负样本（未出现该标签的样本）通常远多于正样本

传统二元交叉熵损失（BCE）会平等对待所有样本，导致模型偏向高频标签。Focal Loss 通过降低易分类样本的权重来缓解这个问题，但对多标签场景的适应性仍有限。

基础形式：
$$\mathcal{L}_{BCE} = -[y\log(p) + (1-y)\log(1-p)]$$

优点：实现简单，是多标签分类的基准方法
缺点：对样本不平衡敏感，容易被负样本主导

改进形式：
$$\mathcal{L}_{Focal} = -[y(1-p)^\gamma\log(p) + (1-y)p^\gamma\log(1-p)]$$

通过 $\gamma$ 参数降低易分类样本的权重
但对正负样本采用相同的调节策略，在多标签场景下不够灵活

核心公式：
$$\mathcal{L}{ASL} = -[y\cdot\text{ReLU}(\tau+ – p)^\gamma\log(p) \ + (1-y)\cdot\text{ReLU}(p – \tau_-)^\kappa\log(1-p)]$$

关键创新点：

自适应阈值 ：
$\tau_+$：正样本概率阈值，低于该值才计算损失
$\tau_-$：负样本概率阈值，高于该值才计算损失
非对称调节 ：
$\gamma$：控制正样本的聚焦程度
$\kappa$：独立控制负样本的抑制强度

对于正样本（y=1）：
当预测概率 $p > \tau_+$ 时，损失为 0（认为已充分学习）
通过 $\text{ReLU}(\tau_+ – p)$ 实现 ” 软阈值 ”
对于负样本（y=0）：
当预测概率 $p < \tau_-$ 时，损失为 0（认为已充分排除）
通过 $\text{ReLU}(p – \tau_-)$ 实现过滤

通过 $\kappa$ 独立控制负样本的权重衰减程度
典型设置：$\kappa > \gamma$（更激进地抑制负样本）
实际效果 ：减少 ” 简单负样本 ” 对梯度的贡献，让模型更关注困难样本和正样本

import torch
import torch.nn as nn
import torch.nn.functional as F

class ASL_Loss(nn.Module):
    """
    ASL 损失函数实现
    参数说明：gamma_pos: 正样本聚焦系数（默认 0）gamma_neg: 负样本抑制系数（默认 4）clip: 概率截断阈值（默认 0.05）"""
    def __init__(self, gamma_pos=0, gamma_neg=4, clip=0.05):
        super(ASL_Loss, self).__init__()
        self.gamma_pos = gamma_pos
        self.gamma_neg = gamma_neg
        self.clip = clip

    def forward(self, inputs, targets):
        # 对预测值进行 sigmoid 激活
        preds = torch.sigmoid(inputs)

        # 正负样本掩码
        pos_mask = (targets == 1).float()
        neg_mask = (targets == 0).float()

        # 正样本损失计算
        pos_preds = preds * pos_mask
        pos_loss = -torch.log(torch.clamp(pos_preds, self.clip, 1.0)) * \
                   torch.pow(1 - pos_preds, self.gamma_pos) * pos_mask

        # 负样本损失计算
        neg_preds = preds * neg_mask
        neg_loss = -torch.log(torch.clamp(1 - neg_preds, self.clip, 1.0)) * \
                   torch.pow(neg_preds, self.gamma_neg) * neg_mask

        # 合并损失
        loss = pos_loss.sum() + neg_loss.sum()
        return loss / len(targets)

# 示例用法
model = YourModel()  # 自定义模型
criterion = ASL_Loss(gamma_pos=1, gamma_neg=4, clip=0.05)
optimizer = torch.optim.Adam(model.parameters(), lr=1e-4)

# 训练循环
for epoch in range(num_epochs):
    for images, labels in train_loader:
        outputs = model(images)
        loss = criterion(outputs, labels)

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()