BP神经网络Python实现：从零构建源码到避坑指南

1次阅读

共计 1747 个字符，预计需要花费 5 分钟才能阅读完成。

作为机器学习初学者，直接调用框架虽然方便，但容易成为调包侠。我在第一次实现 BP 网络时遇到过：

梯度消失导致深层权重无法更新（输出层误差传不到第一层）
学习率设大了震荡，设小了收敛慢
全零初始化导致神经元对称性问题

通过手写实现，才能真正理解：

反向传播如何通过链式法则逐层传递误差
激活函数导数对梯度的影响
参数初始化与学习率的关系

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # Xavier 初始化（后续会详细解释）self.W1 = np.random.randn(input_size, hidden_size) * np.sqrt(1/input_size)
        self.b1 = np.zeros((1, hidden_size))
        self.W2 = np.random.randn(hidden_size, output_size) * np.sqrt(1/hidden_size)
        self.b2 = np.zeros((1, output_size))

关键点在于矩阵运算的维度匹配：

def forward(self, X):
    self.z1 = np.dot(X, self.W1) + self.b1  # (batch, hidden)
    self.a1 = self.sigmoid(self.z1)         # 激活层
    self.z2 = np.dot(self.a1, self.W2) + self.b2
    return self.softmax(self.z2)            # 多分类用 softmax

计算输出层误差：

output_error = y_pred - y_true  # (batch, output)

隐藏层误差（链式法则核心）：

hidden_error = np.dot(output_error, self.W2.T) * self.sigmoid_derivative(self.a1)

梯度计算（注意 batch 求平均）：

dW2 = np.dot(self.a1.T, output_error) / batch_size
db2 = np.sum(output_error, axis=0) / batch_size

参数更新（带学习率）：
```
self.W2 -= learning_rate * dW2
```

当使用 sigmoid 激活且网络较深时，曾出现前几层的梯度值接近于 0。解决方法：

改用 ReLU 激活函数
批规范化（BatchNorm）
残差连接（ResNet 思路）

在 MNIST 数据集上的对比结果：

策略	最终准确率	收敛速度
固定 0.1	87.2%	快但震荡
固定 0.01	92.1%	慢但稳定
AdaGrad	94.3%	先快后慢

权重初始化标准差应满足：

\sigma = \sqrt{\frac{2}{n_{in} + n_{out}}}

对应代码实现：

# 输入层到隐藏层
std = np.sqrt(2 / (input_size + hidden_size))
self.W1 = np.random.randn(input_size, hidden_size) * std

best_val_acc = 0
for epoch in range(epochs):
    # ... 训练代码...
    val_acc = evaluate(val_data)
    if val_acc > best_val_acc:
        best_weights = self.get_weights()  # 保存当前最佳
        patience = 3  # 重置耐心值
    else:
        patience -= 1
        if patience == 0: break
self.set_weights(best_weights)  # 恢复最佳