BP神经网络框架图解析：从理论到高效实现

1次阅读

共计 1538 个字符，预计需要花费 4 分钟才能阅读完成。

BP 神经网络作为深度学习的基础模型，在训练过程中常面临两个核心问题：训练效率低下和梯度消失现象。传统的实现方式往往采用逐样本更新权重的方式，导致计算资源利用率低，训练速度慢。同时，随着网络层数增加，反向传播时梯度会逐层衰减，最终导致深层权重无法有效更新。

SGD（随机梯度下降）：计算简单但收敛慢，容易陷入局部最优
Momentum：加入动量项，加速收敛并减少震荡
Adam：自适应学习率，综合了动量和自适应梯度调整
Adagrad：为每个参数分配不同的学习率

实际测试表明，在中等规模数据集上，Adam 通常能取得最佳平衡点。

将传统的逐样本计算转化为矩阵运算，显著提升计算效率。输入数据 X 为 n×d 矩阵（n 个样本，d 个特征），权重 W 为 d×h 矩阵（h 为隐层节点数），则隐层输出为：

H = σ(XW + b)

其中 σ 为激活函数。

采用批量梯度计算，避免重复计算。以交叉熵损失函数为例：

δ^L = ∇aC ⊙ σ'(z^L)
δ^l = ((W^{l+1})^T δ^{l+1}) ⊙ σ'(z^l)

通过矩阵运算一次性计算所有样本的梯度。

import numpy as np

class BPNeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # He 初始化
        self.W1 = np.random.randn(input_size, hidden_size) * np.sqrt(2/input_size)
        self.b1 = np.zeros(hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size) * np.sqrt(2/hidden_size)
        self.b2 = np.zeros(output_size)

    def forward(self, X):
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.relu(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        return self.softmax(self.z2)

    def backward(self, X, y, lr=0.01):
        # 反向传播计算梯度
        m = X.shape[0]
        delta2 = self.probs - y
        dW2 = np.dot(self.a1.T, delta2) / m
        db2 = np.sum(delta2, axis=0) / m

        delta1 = np.dot(delta2, self.W2.T) * self.relu_derivative(self.z1)
        dW1 = np.dot(X.T, delta1) / m
        db1 = np.sum(delta1, axis=0) / m

        # 参数更新
        self.W1 -= lr * dW1
        self.b1 -= lr * db1
        self.W2 -= lr * dW2
        self.b2 -= lr * db2