共计 2344 个字符，预计需要花费 6 分钟才能阅读完成。

1. 从神经网络前向传播到误差反向传播

神经网络的训练过程可以抽象为一个优化问题：通过调整网络权重，使得模型输出尽可能接近真实值。前向传播负责计算当前权重下的预测值，而误差反向传播（Backpropagation，简称 BP）则是计算各层权重对总误差的贡献，从而指导权重更新。

以一个简单的三层网络（输入层、隐藏层、输出层）为例，前向传播的数学表达为：

\begin{aligned}
z^{(2)} &= W^{(1)}x + b^{(1)} \\
a^{(2)} &= \sigma(z^{(2)}) \\
z^{(3)} &= W^{(2)}a^{(2)} + b^{(2)} \\
a^{(3)} &= \sigma(z^{(3)})
\end{aligned}

其中 $\sigma$ 是激活函数（如 Sigmoid），$W$ 和 $b$ 分别代表权重和偏置。

2. 误差反向传播的数学推导

反向传播的核心是链式法则。定义损失函数 $J$（如均方误差）后，我们需要计算 $\frac{\partial J}{\partial W}$ 和 $\frac{\partial J}{\partial b}$。以输出层权重为例：

\frac{\partial J}{\partial W^{(2)}} = \frac{\partial J}{\partial a^{(3)}} \cdot \frac{\partial a^{(3)}}{\partial z^{(3)}} \cdot \frac{\partial z^{(3)}}{\partial W^{(2)}}

具体推导过程：
1. 输出层误差项：

\delta^{(3)} = \frac{\partial J}{\partial z^{(3)}} = (a^{(3)} - y) \odot \sigma'(z^{(3)})

2. 隐藏层误差项：

\delta^{(2)} = (W^{(2)})^T \delta^{(3)} \odot \sigma'(z^{(2)})

3. 最终梯度计算：

\begin{aligned}
\frac{\partial J}{\partial W^{(2)}} &= \delta^{(3)} (a^{(2)})^T \\
\frac{\partial J}{\partial b^{(2)}} &= \delta^{(3)}
\end{aligned}

3. Python 实现示例

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        self.W1 = np.random.randn(input_size, hidden_size)
        self.b1 = np.zeros(hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size)
        self.b2 = np.zeros(output_size)

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def sigmoid_derivative(self, x):
        return self.sigmoid(x) * (1 - self.sigmoid(x))

    def forward(self, X):
        self.z2 = np.dot(X, self.W1) + self.b1
        self.a2 = self.sigmoid(self.z2)
        self.z3 = np.dot(self.a2, self.W2) + self.b2
        return self.sigmoid(self.z3)

    def backward(self, X, y, output, learning_rate):
        # 输出层误差
        delta3 = (output - y) * self.sigmoid_derivative(self.z3)
        dJdW2 = np.dot(self.a2.T, delta3)

        # 隐藏层误差
        delta2 = np.dot(delta3, self.W2.T) * self.sigmoid_derivative(self.z2)
        dJdW1 = np.dot(X.T, delta2)

        # 更新权重
        self.W1 -= learning_rate * dJdW1
        self.W2 -= learning_rate * dJdW2
        self.b1 -= learning_rate * np.sum(delta2, axis=0)
        self.b2 -= learning_rate * np.sum(delta3, axis=0)

4. 算法复杂度分析

• 时间复杂度：主要消耗在前向传播的矩阵乘法和反向传播的梯度计算。对于 $L$ 层网络，每轮迭代复杂度为 $O(\sum_{l=1}^{L-1} n_l \times n_{l+1})$，其中 $n_l$ 是第 $l$ 层的神经元数量。
• 内存瓶颈：需要存储所有中间变量（如各层的 $z$ 和 $a$）用于反向传播，内存消耗与网络深度成正比。

5. 避坑指南

• 梯度消失 / 爆炸 ：
• 现象：深层网络训练时梯度指数级减小或增大

• 解决方案：使用 ReLU 等改良激活函数，初始化时采用 Xavier 方法

• 学习率设置 ：

• 太大导致震荡，太小收敛慢

• 实践经验：初始设为 0.01，配合学习率衰减策略

• 数值稳定性 ：

• 在 softmax 中避免数值溢出：减去最大值

  def softmax(x):
      e_x = np.exp(x - np.max(x))
      return e_x / e_x.sum()

6. 延伸思考

1. 扩展到 CNN：卷积层的误差传播需要处理局部连接和参数共享特性，通过转置卷积实现
2. 与传统优化器对比 ：
3. Adam 等自适应优化器自动调整学习率
4. BP+SGD 更基础，适合理论分析但超参数敏感

通过本文的推导和实现，读者应该能够建立起对 BP 算法的直观理解。建议尝试修改网络结构（如增加层数）和超参数，观察训练效果的变化，这是掌握神经网络调参的最佳实践方式。