二分类任务中损失函数的选择与优化：从交叉熵到Focal Loss的实战解析

1次阅读

共计 1808 个字符，预计需要花费 5 分钟才能阅读完成。

在机器学习中，二分类任务是非常常见的任务类型，比如垃圾邮件检测、疾病诊断等。然而，在实际应用中，我们经常会遇到类别不平衡、模型对简单样本过拟合等问题。传统的交叉熵损失函数在这些情况下表现不佳，这时候就需要更高级的损失函数，比如 Focal Loss。

交叉熵损失函数（Cross-Entropy Loss）是二分类任务中最常用的损失函数之一，其公式为：

$$
CE(p, y) = -y \log(p) – (1 – y) \log(1 – p)
$$

其中，$y$ 是真实标签（0 或 1），$p$ 是模型预测的概率。然而，交叉熵在处理类别不平衡问题时存在明显不足：

类别不平衡问题 ：当正负样本比例悬殊时（比如 1:100），模型容易倾向于预测多数类，导致少数类的召回率极低。
难易样本区分问题 ：交叉熵对所有样本一视同仁，但实际中简单样本（高置信度预测正确）占多数，它们对梯度的贡献可能淹没难样本（低置信度预测正确）的影响。

Focal Loss 通过引入两个调节因子（$\alpha$ 和 $\gamma$）来解决上述问题。其数学形式为：

$$
FL(p, y) = -\alpha (1 – p)^\gamma y \log(p) – (1 – \alpha) p^\gamma (1 – y) \log(1 – p)
$$

$\alpha$：平衡正负样本的权重，通常设置为少数类的权重更大。
$\gamma$：调节难易样本的权重，$\gamma > 0$ 时，难样本的损失会被放大，而简单样本的损失会被缩小。

以下是 Focal Loss 的 PyTorch 实现代码：

import torch
import torch.nn as nn
import torch.nn.functional as F

class FocalLoss(nn.Module):
    def __init__(self, alpha=0.25, gamma=2.0, reduction='mean'):
        super(FocalLoss, self).__init__()
        self.alpha = alpha
        self.gamma = gamma
        self.reduction = reduction

    def forward(self, inputs, targets):
        BCE_loss = F.binary_cross_entropy_with_logits(inputs, targets, reduction='none')
        pt = torch.exp(-BCE_loss)
        F_loss = self.alpha * (1 - pt) ** self.gamma * BCE_loss

        if self.reduction == 'mean':
            return torch.mean(F_loss)
        elif self.reduction == 'sum':
            return torch.sum(F_loss)
        else:
            return F_loss

关键参数说明 ：
– alpha：建议从 0.25 开始调优，对于极端不平衡数据可以尝试更高的值。
– gamma：通常设置为 2.0，但可以根据任务调整（范围 1 -5）。
– reduction：选择损失汇总方式（mean 或 sum）。

在 CIFAR-10 的二分类子集（猫 vs 狗）上，我们对比了交叉熵和 Focal Loss 的表现（正负样本比例 1:10）：