BP神经网络损失函数详解：从数学原理到PyTorch实战

1次阅读

没有评论

共计 1671 个字符，预计需要花费 5 分钟才能阅读完成。

在训练神经网络时，损失函数（Loss Function）就像是导航系统中的指南针。它告诉模型当前的预测结果与真实值相差多远，并通过反向传播算法指导参数更新。如果选择不当，可能会导致：

梯度消失：损失函数过于平缓时，梯度值接近零，参数几乎不更新
震荡发散：损失函数曲面崎岖会导致优化过程在局部极值点附近振荡
收敛缓慢：不恰当的损失函数可能使模型需要更多迭代才能达到理想效果

数学表达式：
$$ L_{MSE} = \frac{1}{2N}\sum_{i=1}^N (y_i – \hat{y}_i)^2 $$

梯度推导：
$$ \frac{\partial L}{\partial \hat{y}_i} = \frac{1}{N}(\hat{y}_i – y_i) $$

适用于回归任务，对异常值敏感是其显著特点。

数学表达式：
$$ L_{CE} = -\frac{1}{N}\sum_{i=1}^N \left[y_i \log(\hat{y}_i) + (1-y_i)\log(1-\hat{y}_i) \right] $$

梯度推导：
$$ \frac{\partial L}{\partial \hat{y}_i} = \frac{\hat{y}_i – y_i}{\hat{y}_i(1-\hat{y}_i)} $$

这是分类任务的首选，特别适合输出概率的场景。

import torch
import torch.nn as nn

# 模拟数据
y_true = torch.randn(10, 1)  # 真实值
y_pred = torch.randn(10, 1, requires_grad=True)  # 预测值

# 定义损失
mse_loss = nn.MSELoss()
loss = mse_loss(y_pred, y_true)

# 反向传播
loss.backward()

# 查看梯度
print(f'MSE 梯度值:\n{y_pred.grad}')

关键点说明：
– requires_grad=True 启用自动求导
– .backward() 自动计算梯度
– 框架已内置向量化实现

# 分类任务示例
logits = torch.randn(10, 5)  # 未归一化的预测值
labels = torch.randint(5, (10,))  # 真实类别索引

# 使用内置函数
ce_loss = nn.CrossEntropyLoss()
loss = ce_loss(logits, labels)

# 手动实现（理解原理）probs = torch.softmax(logits, dim=1)
ell_loss = -torch.log(probs[range(10), labels]).mean()

print(f'框架计算:{loss.item():.4f}, 手动实现:{ell_loss.item():.4f}')

注意事项：
– 框架已处理数值稳定性问题
– 标签应使用类别索引而非 one-hot 编码