BP反向传播神经网络训练：从数学原理到Python实现

1次阅读

共计 2105 个字符，预计需要花费 6 分钟才能阅读完成。

反向传播算法是神经网络训练的基石，但对初学者而言往往是第一个 ” 拦路虎 ”。最常见的问题包括：

对链式求导的数学原理理解不深，导致无法正确推导梯度公式
忽略梯度检查环节，直接运行代码后发现不收敛才排查问题
未合理初始化权重，导致梯度消失或爆炸
学习率设置不当，要么训练过慢要么震荡发散

前向传播公式：
$$ z = w^Tx + b $$
$$ a = \sigma(z) $$

反向传播时，损失函数 $L$ 对权重 $w$ 的梯度为：
$$ \frac{\partial L}{\partial w} = \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial z} \cdot \frac{\partial z}{\partial w} $$

以两层网络为例，第二层的梯度会传递给第一层：
$$ \frac{\partial L}{\partial W_1} = \frac{\partial L}{\partial a_2} \cdot \frac{\partial a_2}{\partial z_2} \cdot \frac{\partial z_2}{\partial a_1} \cdot \frac{\partial a_1}{\partial z_1} \cdot \frac{\partial z_1}{\partial W_1} $$

import numpy as np

class TwoLayerNet:
    def __init__(self, input_size, hidden_size, output_size):
        # 权重初始化（注意维度）self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros(hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros(output_size)

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def sigmoid_derivative(self, x):
        return x * (1 - x)

    def forward(self, X):
        # 前向传播
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, learning_rate=0.1):
        # 反向传播
        m = X.shape[0]

        # 输出层误差
        dL_da2 = (self.a2 - y) / m
        da2_dz2 = self.sigmoid_derivative(self.a2)
        delta2 = dL_da2 * da2_dz2

        # 隐藏层误差
        dz2_da1 = self.W2
        da1_dz1 = self.sigmoid_derivative(self.a1)
        delta1 = np.dot(delta2, dz2_da1.T) * da1_dz1

        # 更新参数
        self.W2 -= learning_rate * np.dot(self.a1.T, delta2)
        self.b2 -= learning_rate * np.sum(delta2, axis=0)
        self.W1 -= learning_rate * np.dot(X.T, delta1)
        self.b1 -= learning_rate * np.sum(delta1, axis=0)

梯度爆炸 ：当梯度大于 1e5 时，使用梯度裁剪

grad_norm = np.linalg.norm(gradients)
if grad_norm > 1e5:
    gradients = gradients * (1e5 / grad_norm)

梯度消失 ：改用 ReLU 激活函数或残差连接

全连接层：0.001-0.1
CNN/RNN：0.0001-0.01

def gradient_check(x, epsilon=1e-7):
    # 计算数值梯度
    grad_approx = (f(x + epsilon) - f(x - epsilon)) / (2 * epsilon)
    # 与反向传播结果对比
    difference = np.linalg.norm(grad_backprop - grad_approx) / \
                (np.linalg.norm(grad_backprop) + np.linalg.norm(grad_approx))
    assert difference < 1e-7

在 MNIST 数据集上的测试结果：