BP神经网络详解：从数学推导到Python实战

1次阅读

共计 2284 个字符，预计需要花费 6 分钟才能阅读完成。

BP 神经网络的核心在于通过链式法则计算梯度。我们先定义网络结构（以单隐藏层为例）：

输入层：$\mathbf{x} \in \mathbb{R}^{n}$
隐藏层：$\mathbf{h} = \sigma(\mathbf{W}_1 \mathbf{x} + \mathbf{b}_1)$
输出层：$\mathbf{y} = \text{softmax}(\mathbf{W}_2 \mathbf{h} + \mathbf{b}_2)$

关键推导步骤：

前向传播（矩阵形式）：
$$
\begin{aligned}
\mathbf{z}_1 &= \mathbf{W}_1 \mathbf{x} + \mathbf{b}_1 \
\mathbf{h} &= \text{ReLU}(\mathbf{z}_1) \
\mathbf{z}_2 &= \mathbf{W}_2 \mathbf{h} + \mathbf{b}_2 \
\mathbf{y} &= \text{softmax}(\mathbf{z}_2)
\end{aligned}
$$
反向传播梯度计算（以交叉熵损失 $L$ 为例）：
$$
\frac{\partial L}{\partial \mathbf{z}_2} = \mathbf{y} – \mathbf{t} \quad (\text{真实标签}\mathbf{t})
$$
$$
\frac{\partial L}{\partial \mathbf{W}_2} = \frac{\partial L}{\partial \mathbf{z}_2} \mathbf{h}^T
$$
$$
\frac{\partial L}{\partial \mathbf{h}} = \mathbf{W}_2^T \frac{\partial L}{\partial \mathbf{z}_2}
$$
$$
\frac{\partial L}{\partial \mathbf{z}_1} = \frac{\partial L}{\partial \mathbf{h}} \odot \mathbb{I}(\mathbf{z}_1 > 0)
$$

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size):
        # 初始化陷阱：避免全零初始化！self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros(hidden_size)
        self.W2 = np.random.randn(hidden_size, 10) * 0.01
        self.b2 = np.zeros(10)

    def relu(self, z):
        return np.maximum(0, z)

    def softmax(self, z):
        # 防溢出处理
        exp_z = np.exp(z - np.max(z, axis=1, keepdims=True))
        return exp_z / np.sum(exp_z, axis=1, keepdims=True)

    def forward(self, x):
        self.z1 = x @ self.W1 + self.b1
        self.h = self.relu(self.z1)
        self.z2 = self.h @ self.W2 + self.b2
        return self.softmax(self.z2)

    def backward(self, x, y, lr=0.01):
        m = x.shape[0]
        dz2 = self.probs - y  # 交叉熵梯度
        dw2 = (self.h.T @ dz2) / m
        db2 = np.sum(dz2, axis=0) / m
        dh = dz2 @ self.W2.T
        dz1 = dh * (self.z1 > 0)  # ReLU 梯度
        dw1 = (x.T @ dz1) / m
        db1 = np.sum(dz1, axis=0) / m
        # 参数更新
        self.W2 -= lr * dw2
        self.b2 -= lr * db2
        self.W1 -= lr * dw1
        self.b1 -= lr * db1

通过 FashionMNIST 数据集测试不同优化器效果：

SGD：
学习率敏感，易陷入局部最优
典型学习率: 0.1~0.01
Momentum（β=0.9）：
速度向量累积，加速峡谷区域收敛
学习率可适当增大
Adam（β1=0.9, β2=0.999）：
自适应学习率，默认参数效果稳定
适合稀疏梯度场景

Batch Size 选择：
$$
\text{batch_size} = \min(2^{\lfloor \log_2(0.01 \times N)\rfloor}, 256)
$$
其中 $N$ 为训练样本数
GPU 显存预估：
$$
\text{显存(GB)} \approx \frac{4 \times (\text{参数量} + 3 \times \text{batch_size} \times \text{每层神经元数})}{1024^3}
$$