2025损失函数大全：从理论到实战的深度学习优化指南

1次阅读

共计 1540 个字符，预计需要花费 4 分钟才能阅读完成。

在深度学习模型训练中，损失函数的选择往往被轻视，但实际上它直接影响模型的收敛速度和最终性能。以下是几个典型的痛点问题：

梯度消失 / 爆炸：某些损失函数在极端情况下会产生过小或过大的梯度，导致训练不稳定
模式崩溃：常见于生成对抗网络(GAN)，生成器倾向于产生有限的样本多样性
类别不平衡：在分类任务中，常见损失函数对少数类关注不足
离群点敏感：如 MSE 对异常值过于敏感，导致模型偏向拟合异常点

损失函数	适用场景	优点	局限性
MSE	回归任务	计算简单，处处可导	对异常值敏感
Cross-Entropy	分类任务	概率解释性好	对类别不平衡敏感
Huber	稳健回归	对异常值鲁棒	需要手动设置 δ 参数
Focal Loss	类别不平衡	自动调节难易样本权重	引入额外超参数

数学形式：$L_{poly} = (1 – p_t)^\alpha \log(p_t) + \epsilon(1 – p_t)$
创新点：通过多项式调整难易样本权重，比 Focal Loss 更灵活

数学形式：$L_{supcon} = -\frac{1}{N}\sum_{i=1}^N\log\frac{\exp(z_i^Tz_j/\tau)}{\sum_{k=1}^N\exp(z_i^Tz_k/\tau)}$
创新点：利用对比学习思想，增强同类样本的聚合性

数学形式：$L_{dice} = 1 – \frac{2|X\cap Y|}{|X| + |Y|}$
创新点：直接优化分割任务的 IoU 指标，对类别不平衡鲁棒

import torch
import torch.nn as nn

class PolyLoss(nn.Module):
    """
    多项式损失函数实现
    Args:
        alpha: 控制难样本权重的指数
        epsilon: 平滑系数
    """
    def __init__(self, alpha=2.0, epsilon=1e-6):
        super().__init__()
        self.alpha = alpha
        self.epsilon = epsilon
        self.ce = nn.CrossEntropyLoss(reduction='none')

    def forward(self, preds, targets):
        ce_loss = self.ce(preds, targets)  # 基础交叉熵
        pt = torch.exp(-ce_loss)  # 计算预测概率
        poly_loss = ce_loss + self.epsilon * (1 - pt) ** self.alpha
        return poly_loss.mean()

# 训练循环示例
model = MyModel()
criterion = PolyLoss(alpha=1.5)
optimizer = torch.optim.Adam(model.parameters())

for x, y in dataloader:
    preds = model(x)
    loss = criterion(preds, y)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()