2025损失函数大全：从入门到实战的避坑指南

1次阅读

共计 1981 个字符，预计需要花费 5 分钟才能阅读完成。

刚开始学机器学习时，我以为只要选个模型架构，数据喂进去就能自动训练出好结果——直到第一次遇到模型死活不收敛的情况。后来才发现， 损失函数（Loss Function）才是训练过程的隐形导演 ，它决定了模型如何评估预测误差，并通过反向传播告诉参数该往哪个方向调整。

常见的新手踩坑场景包括：

做分类任务却用了回归的 MSE 损失，导致概率输出异常
类别不平衡数据直接套用交叉熵，少数类完全被忽视
数据有噪声时使用 L2 损失，模型被异常值带偏

损失函数（中 / 英）	数学公式	梯度特性	适用任务
均方误差 /MSE	$\frac{1}{n}\sum(y-\hat{y})^2$	梯度随误差线性增大	回归任务
平均绝对误差 /MAE	$\frac{1}{n}\sum	y-\hat{y}	$
Huber 损失	$\begin{cases}0.5(y-\hat{y})^2 &	y-\hat{y}	≤δ \ δ
交叉熵 /Cross-Entropy	$-\sum y\log(\hat{y})$	概率误差越大概率更新越大	分类任务
合页损失 /Hinge	$\max(0, 1-y\cdot\hat{y})$	仅在边界附近更新	SVM 分类

import torch
import torch.nn as nn

class HuberLoss(nn.Module):
    def __init__(self, delta=1.0):
        super().__init__()
        self.delta = delta

    def forward(self, y_pred, y_true):
        error = y_true - y_pred
        abs_error = torch.abs(error)

        # 核心逻辑：分段计算损失
        quadratic = torch.min(abs_error, self.delta)
        linear = abs_error - quadratic
        loss = 0.5 * quadratic**2 + self.delta * linear

        return loss.mean()

# 训练循环示例
loss_fn = HuberLoss(delta=1.5)
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

for x, y in dataloader:
    pred = model(x)
    loss = loss_fn(pred, y)
    optimizer.zero_grad()
    loss.backward()  # 自动计算梯度
    optimizer.step()

import tensorflow as tf

class WeightedCE(tf.keras.losses.Loss):
    def __init__(self, pos_weight=2.0):
        super().__init__()
        self.pos_weight = pos_weight

    def call(self, y_true, y_pred):
        # 对正样本加权
        loss = - (self.pos_weight * y_true * tf.math.log(y_pred) + 
                 (1-y_true) * tf.math.log(1-y_pred))
        return tf.reduce_mean(loss)

# 使用示例
model.compile(
    optimizer='adam',
    loss=WeightedCE(pos_weight=5)  # 适用于正样本稀少场景
)