2025损失函数大全：从原理到实战的深度学习优化指南

1次阅读

没有评论

共计 2109 个字符，预计需要花费 6 分钟才能阅读完成。

在深度学习项目中，损失函数就像导航系统的指南针。选错了损失函数，模型可能会陷入以下困境：

训练过程龟速前进：使用不适合的损失函数会导致梯度更新效率低下，需要更多 epoch 才能收敛
模型表现不稳定：某些损失函数对异常值敏感，容易造成训练过程中的剧烈波动
过拟合提前到来：错误的损失函数可能过度关注训练集细节，降低泛化能力

改进版 Focal Loss

经典 Focal Loss 通过 $(1-p_t)^\gamma$ 调节难易样本权重，2025 年改进版新增了类别动态调节因子：

$$FL^+ = -\alpha_t(1-p_t)^{\gamma_t}\log(p_t)$$

其中 $\gamma_t$ 随类别分布动态调整，解决了原始版本需要手动调参的问题

PolyLoss

将交叉熵展开为多项式形式，通过调节多项式系数实现更灵活的梯度控制：

$$\mathcal{L}{poly} = \sum^\infty a_k(1-p_t)^k$$

实践表明，截取前 3 项就能获得显著提升

Huber Loss

平滑过渡的 L1/L2 混合损失，超参数 δ 控制敏感区间：

$$L_\delta(y,f(x)) = \begin{cases}
\frac{1}{2}(y-f(x))^2 & \text{当}|y-f(x)| \leq \delta \
\delta|y-f(x)| – \frac{1}{2}\delta^2 & \text{否则}
\end{cases}$$

适合有噪声的工业传感器数据

Quantile Loss

通过分位数参数 τ 控制对高估 / 低估的敏感度：

$$L_\tau(y, f(x)) = \begin{cases}
(1-\tau)|y-f(x)| & y < f(x) \
\tau|y-f(x)| & y \geq f(x)
\end{cases}$$

金融风控场景下预测区间比单点值更有意义

Wasserstein 距离工程实现技巧：

权重裁剪（Weight Clipping）保持 Lipschitz 约束
梯度惩罚（Gradient Penalty）替代裁剪更稳定
双时间尺度更新（TTUR）平衡判别器与生成器

class DynamicFocalLoss(nn.Module):
    def __init__(self, alpha=0.25, gamma=2.0, reduction='mean'):
        super().__init__()
        self.alpha = alpha
        self.gamma = gamma
        self.reduction = reduction

    def forward(self, inputs, targets):
        # 计算基础交叉熵
        bce_loss = F.binary_cross_entropy_with_logits(inputs, targets, reduction='none')

        # 动态调整 gamma 值
        pt = torch.exp(-bce_loss)
        gamma_t = self.gamma * (1 - pt.detach())  # 动态计算

        # 组合最终损失
        loss = self.alpha * (1-pt)**gamma_t * bce_loss

        if self.reduction == 'mean':
            return loss.mean()
        elif self.reduction == 'sum':
            return loss.sum()
        return loss

class QuantileLoss(tf.keras.losses.Loss):
    def __init__(self, tau=0.5, name="quantile_loss"):
        super().__init__(name=name)
        self.tau = tau

    def call(self, y_true, y_pred):
        error = y_true - y_pred
        loss = tf.maximum(self.tau * error, (self.tau - 1) * error)
        return tf.reduce_mean(loss)

在 CIFAR-10 上的测试结果（ResNet18 架构）：