深入解析BP网络中的Softmax与交叉熵损失函数：从数学原理到代码实现

1次阅读

共计 1855 个字符，预计需要花费 5 分钟才能阅读完成。

在分类任务中，Softmax 函数将神经网络的原始输出转换为概率分布，而交叉熵则衡量预测分布与真实分布的差异。这对组合之所以有效，关键在于它们的数学特性完美匹配。

Softmax 的归一化特性
给定一个向量 z，Softmax 的计算公式为：
```
σ(z)_i = e^{z_i} / ∑_{j=1}^K e^{z_j}
```
它通过指数运算放大差异，再通过分母的求和实现归一化，使得所有输出值在 (0,1) 区间且总和为 1。
交叉熵的数学意义
交叉熵损失函数定义为：
```
L = -∑_{i=1}^K y_i log(p_i)
```
其中 y 是 one-hot 编码的真实标签，p 是 Softmax 输出的概率。当预测完全正确时（p=y），损失达到最小值 0。
为什么这对组合常用
Softmax 的梯度计算中会出现 p_i – y_i 的简洁形式
交叉熵对错误预测的惩罚呈对数增长，梯度信号更强
两者结合避免了均方误差 (MSE) 在分类问题中的梯度消失问题

以下是用 NumPy 实现的核心代码片段，包含完整的前向传播和反向传播过程：

import numpy as np

def softmax(x):
    """数值稳定的 Softmax 实现"""
    exp_x = np.exp(x - np.max(x, axis=1, keepdims=True))
    return exp_x / np.sum(exp_x, axis=1, keepdims=True)

def cross_entropy_loss(y_pred, y_true):
    """
    计算交叉熵损失
    参数:
        y_pred: Softmax 输出的概率 (batch_size, num_classes)
        y_true: one-hot 编码标签 (batch_size, num_classes)
    """
    # 添加微小值避免 log(0)
    return -np.mean(np.sum(y_true * np.log(y_pred + 1e-15), axis=1))

# 示例数据
batch_size = 3
num_classes = 4
z = np.random.randn(batch_size, num_classes)  # 网络最后一层输出
y = np.array([[0,0,1,0], [1,0,0,0], [0,1,0,0]])  # one-hot 标签

# 前向传播
prob = softmax(z)
loss = cross_entropy_loss(prob, y)

# 反向传播
dz = prob - y  # 这就是 Softmax+ 交叉熵的梯度神奇之处!

实际实现时需要特别注意数值稳定性问题：

log-sum-exp 技巧
原始 Softmax 在指数运算时容易溢出，改进方案：
```
softmax(z)_i = e^{z_i - max(z)} / ∑ e^{z_j - max(z)}
```
减去最大值后所有指数项≤1，避免了数值爆炸。
log 计算保护
在交叉熵中计算 log(p)时，给 p 添加微小正值 (如 1e-15) 防止 log(0)出现 NaN。
批量处理时的维度处理
注意 np.max 和 np.sum 中 axis=1, keepdims=True 的用法，确保广播机制正确工作。