BP神经网络算法入门指南：从数学原理到Python实现

1次阅读

共计 2084 个字符，预计需要花费 6 分钟才能阅读完成。

想象你要预测下周的冰淇淋销量。传统方法可能考虑温度、节假日等几个因素，但实际影响因素可能复杂得多（比如社交媒体话题、竞争对手促销等）。BP 神经网络能自动学习这些隐藏规律——某便利店使用 3 层 BP 网络后，预测准确率比线性模型提升了 27%。

另一个典型场景是手写数字识别。MNIST 数据集中，简单的 BP 网络就能达到 98% 的识别准确率，这正是因为网络能通过反向传播自动调整数万条连接权重，逐步「理解」像素组合与数字之间的复杂映射关系。

每个神经元就像微型决策器：

output = f(\sum_{i=1}^n w_i x_i + b)

$x_i$ 是输入信号（比如温度值）
$w_i$ 是对应的权重（重要性系数）
$b$ 是偏置（决策阈值调节）
$f$ 是激活函数，常见选择：
Sigmoid：$\frac{1}{1+e^{-x}}$，输出范围(0,1)，适合概率输出但易导致梯度消失
ReLU：$max(0,x)$，计算简单且缓解梯度消失，但可能导致神经元 ” 死亡 ”

以均方误差 (MSE) 为例：

L = \frac{1}{2}(y_{pred} - y_{true})^2

通过链式法则逐层求导（以输出层权重 $w_{jk}$ 为例）：

\frac{\partial L}{\partial w_{jk}} = \underbrace{(y_{pred}-y_{true})}_{\text{误差信号}} \times \underbrace{f'(z_j)}_{\text{激活导数}} \times \underbrace{a_k}_{\text{前层输出}}

大学习率：更新步伐大，可能跳过最优解
小批量 ：256 个样本比全批量(epoch) 更新更频繁，有助于逃离局部最优

经验公式：学习率 $\eta$ 与批量大小 $m$ 应满足 $\eta \propto \sqrt{m}$

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # Xavier 初始化
        self.W1 = np.random.randn(input_size, hidden_size) * np.sqrt(1/input_size)
        self.b1 = np.zeros(hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size) * np.sqrt(1/hidden_size)
        self.b2 = np.zeros(output_size)

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def forward(self, X):
        self.z1 = np.dot(X, self.W1) + self.b1  # 隐藏层加权和
        self.a1 = self.sigmoid(self.z1)          # 激活输出
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        return self.sigmoid(self.z2)             # 最终输出

    def backward(self, X, y, lr=0.01):
        m = X.shape[0]  # 样本数

        # 输出层误差
        dL_dz2 = (self.a2 - y) * self.a2 * (1 - self.a2)  # sigmoid 导数
        dW2 = np.dot(self.a1.T, dL_dz2) / m

        # 隐藏层误差
        dL_da1 = np.dot(dL_dz2, self.W2.T)
        dL_dz1 = dL_da1 * self.a1 * (1 - self.a1)
        dW1 = np.dot(X.T, dL_dz1) / m

        # 更新参数
        self.W1 -= lr * dW1
        self.W2 -= lr * dW2

当隐藏层梯度值 ($\partial L/\partial W_1$) 普遍小于 1e- 5 时：

换用 ReLU 激活函数
采用 Xavier/Glorot 初始化：W = np.random.randn(fan_in, fan_out) * sqrt(2/(fan_in+fan_out))
添加残差连接（ResNet 思路）

L2 正则化：损失函数增加 $\lambda \sum w_i^2$ 项，代码实现：
```
loss += 0.001 * (np.sum(self.W1**2) + np.sum(self.W2**2))
```
早停法：验证集误差连续 3 轮不下降时终止训练
Dropout：训练时随机丢弃 50% 神经元