ASL损失函数入门指南：从数学原理到PyTorch实战

1次阅读

没有评论

共计 2197 个字符，预计需要花费 6 分钟才能阅读完成。

在图像分类任务中，我们常常遇到类别不平衡的问题——某些类别的样本数量远多于其他类别。传统的交叉熵损失函数（Cross Entropy Loss）在处理这类问题时存在明显局限：

对多数类过拟合：模型会倾向于预测样本属于多数类，因为这样能获得更低的整体损失
少数类识别率低：少数类的梯度信号容易被多数类淹没，导致模型难以学习到有判别性的特征

数学上，标准交叉熵损失表示为：

$$\mathcal{L}{CE} = -\frac{1}{N}\sum^N [y_i\log(p_i) + (1-y_i)\log(1-p_i)]$$

其中 $y_i$ 是真实标签，$p_i$ 是预测概率。当正负样本比例悬殊时，负样本项 $(1-y_i)\log(1-p_i)$ 会主导梯度更新。

Asymmetric Loss (ASL) 通过引入两个关键参数 γ⁺和 γ⁻，实现对正负样本的不对称处理：

$$\mathcal{L}{ASL} = -\frac{1}{N}\sum\log(1-p_i)]$$}^N [y_i\cdot p_i^{γ^+}\log(p_i) + (1-y_i)\cdot (1-p_i)^{γ^-

参数作用机制：

γ⁺控制正样本的权重衰减：
γ⁺ > 0 时，容易分类的正样本（p_i→1）对损失的贡献减小
保留难正样本（p_i 中等大小）的梯度信号
γ⁻控制负样本的权重衰减：
γ⁻ > 0 时，容易分类的负样本（p_i→0）对损失的贡献减小
保留难负样本的梯度信号

通过调节这两个参数，我们可以实现：

降低多数类（通常是负样本）的总体影响
聚焦于对分类决策真正有挑战性的样本

import torch
import torch.nn as nn
import torch.nn.functional as F

class AsymmetricLoss(nn.Module):
    def __init__(self, gamma_pos=1.0, gamma_neg=4.0, eps=1e-8):
        """
        参数说明:
        gamma_pos: 正样本的调制因子 (默认 1.0)
        gamma_neg: 负样本的调制因子 (默认 4.0)
        eps: 数值稳定项 (避免 log(0))
        """
        super(AsymmetricLoss, self).__init__()
        self.gamma_pos = gamma_pos
        self.gamma_neg = gamma_neg
        self.eps = eps

    def forward(self, inputs, targets):
        """
        输入:
        inputs: 模型原始输出 (未经过 sigmoid)
        targets: 真实标签 (0 或 1)
        """
        # 计算概率
        probas = torch.sigmoid(inputs)

        # 正样本损失项
        pos_loss = targets * torch.pow(1 - probas, self.gamma_pos) * \
                  torch.log(probas.clamp(min=self.eps))

        # 负样本损失项
        neg_loss = (1 - targets) * torch.pow(probas, self.gamma_neg) * \
                  torch.log((1 - probas).clamp(min=self.eps))

        # 合并损失
        loss = - (pos_loss + neg_loss).mean()
        return loss

关键实现细节：