BP神经网络损失函数详解：从数学原理到PyTorch实战

1次阅读

没有评论

共计 1921 个字符，预计需要花费 5 分钟才能阅读完成。

在神经网络训练过程中，损失函数（Loss Function）就像是导航系统中的指南针。它量化了模型预测值与真实值之间的差距，并通过反向传播指导参数更新。如果选择不当，可能会导致：

梯度消失 ：如使用 MSE 损失处理分类任务时，sigmoid 激活函数与 MSE 组合易产生饱和区
震荡不收敛 ：学习率与损失函数曲率不匹配时，参数更新幅度不稳定
训练效率低下 ：不合理的损失函数会使优化过程陷入局部最优

适用于回归任务，数学表达式为：

$$ L_{MSE} = \frac{1}{2N}\sum_{i=1}^N (y_i – \hat{y}_i)^2 $$

其梯度计算过程（反向传播时使用）：

$$ \frac{\partial L}{\partial w} = \frac{1}{N}\sum_{i=1}^N (\hat{y}_i – y_i) \cdot \frac{\partial \hat{y}_i}{\partial w} $$

分类任务的首选，二分类形式为：

$$ L_{CE} = -\frac{1}{N}\sum_{i=1}^N [y_i \log(\hat{y}_i) + (1-y_i)\log(1-\hat{y}_i)] $$

多分类情况（配合 Softmax）：

$$ L_{CE} = -\frac{1}{N}\sum_{i=1}^N \sum_{c=1}^C y_{i,c} \log(\hat{y}_{i,c}) $$

import torch
import torch.nn as nn

# 模拟数据
y_true = torch.tensor([1.0, 2.0, 3.0], requires_grad=False)
y_pred = torch.tensor([1.5, 1.8, 2.9], requires_grad=True)

# 自定义 MSE 实现
mse_loss = 0.5 * torch.mean((y_pred - y_true)**2)

# PyTorch 内置实现
mse_loss = nn.MSELoss(reduction='mean')(y_pred, y_true)

# 反向传播
mse_loss.backward()
print(f"梯度值: {y_pred.grad}")  # 输出: tensor([-0.1667, -0.0667, -0.0333])

# 分类任务示例
logits = torch.randn(3, 5, requires_grad=True)  # 3 个样本 5 分类
labels = torch.tensor([1, 0, 4])  # 真实类别索引

# 内置交叉熵（自动包含 Softmax）ce_loss = nn.CrossEntropyLoss()(logits, labels)

# 手动实现（理解原理）softmax = torch.exp(logits) / torch.exp(logits).sum(dim=1, keepdim=True)
ce_loss = -torch.log(softmax[range(len(labels)), labels]).mean()

ce_loss.backward()