BP误差反向传播算法实战：从数学推导到高效实现

1次阅读

共计 1666 个字符，预计需要花费 5 分钟才能阅读完成。

BP 算法是神经网络训练的基石，它通过误差反向传播实现参数自动优化；没有 BP 算法就没有现代深度学习的爆发式发展；理解 BP 原理是解决模型训练问题的关键钥匙。

当网络层数较深时，梯度在反向传播过程中会逐层衰减，导致底层参数几乎无法更新。例如使用 sigmoid 激活函数时，其导数最大值为 0.25，经过多层连乘后梯度呈指数级缩小。

传统逐样本计算梯度的方式存在大量重复运算，当 batch_size=100 时需要进行 100 次独立前向传播，计算资源利用率极低。

权重初始化不当会导致激活值爆炸或消失，例如使用标准正态分布初始化全连接层时，随着网络加深，输出值的方差会不断扩大。

核心链式法则的矩阵形式表示：
$$\frac{\partial L}{\partial W^{(l)}} = \frac{\partial L}{\partial z^{(l+1)}} \cdot \frac{\partial z^{(l+1)}}{\partial W^{(l)}} = \delta^{(l+1)} \cdot a^{(l)T}$$
其中 $\delta^{(l+1)}$ 是 l + 1 层的误差项，$a^{(l)}$ 是 l 层的激活输出。

import numpy as np

class NeuralNetwork:
    def __init__(self, layers):
        # He 初始化解决梯度消失
        self.weights = [np.random.randn(y, x)*np.sqrt(2/x) 
                        for x,y in zip(layers[:-1], layers[1:])]

    def backward(self, X, y, learning_rate=0.01):
        # 前向传播存储中间值
        zs, activations = [], [X]
        for w in self.weights:
            z = np.dot(activations[-1], w.T)
            zs.append(z)
            activations.append(self.relu(z))

        # 反向传播
        delta = (activations[-1] - y) * self.relu_derivative(zs[-1])
        for l in range(len(self.weights)-1, -1, -1):
            # 计算梯度并裁剪
            grad = np.dot(delta.T, activations[l])
            grad = np.clip(grad, -1, 1)  # 梯度裁剪

            # 自适应学习率
            learning_rate *= 0.999
            self.weights[l] -= learning_rate * grad

            if l > 0:  # 不是输入层
                delta = np.dot(delta, self.weights[l]) * self.relu_derivative(zs[l-1])

使用 float32 替代 float64 可减少 50% 内存占用，在大多数场景下精度损失可忽略。批量归一化层应放在激活函数前，可减少 15-20% 的计算量。