深入解析BP反向传播的基本概念科学内涵及其在深度学习中的实践应用

1次阅读

共计 1933 个字符，预计需要花费 5 分钟才能阅读完成。

BP（Back Propagation）反向传播算法是深度学习中最核心的优化方法之一。它的基本思想是通过链式法则（Chain Rule）将误差从输出层逐层反向传播到网络的每一层，从而计算每个参数的梯度。

前向传播过程 ：
输入数据通过网络的每一层进行线性变换（权重矩阵乘法）和非线性激活
最终输出与真实标签比较得到损失函数值
反向传播过程 ：
计算输出层误差（损失函数对输出的导数）
从后往前逐层计算各层的误差项（δ）
根据误差项计算各层参数的梯度

计算图可以直观表示这个过程：

graph LR
    A[输入 x] --> B[权重 W1]
    B --> C[激活函数]
    C --> D[权重 W2]
    D --> E[输出 y]
    E --> F[损失 L]
    F --> D
    D --> C
    C --> B
    B --> A

BP 算法通常与各种优化器配合使用：

SGD（随机梯度下降）：
最基础版本，使用单个样本梯度
计算高效但波动大
Momentum：
引入动量项减少震荡
有助于加速收敛
Adam：
结合动量与自适应学习率
实际应用中最常用的优化器

以下是用 NumPy 实现的两层神经网络 BP 算法：

import numpy as np

class TwoLayerNet:
    def __init__(self, input_size, hidden_size, output_size):
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros((1, hidden_size))
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros((1, output_size))

    def forward(self, X):
        # 第一层前向传播
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = np.tanh(self.z1)  # 使用 tanh 激活

        # 第二层前向传播
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        exp_scores = np.exp(self.z2)
        self.probs = exp_scores / np.sum(exp_scores, axis=1, keepdims=True)
        return self.probs

    def backward(self, X, y, learning_rate=0.01):
        num_examples = X.shape[0]

        # 计算输出层误差
        delta3 = self.probs
        delta3[range(num_examples), y] -= 1
        delta3 /= num_examples

        # 反向传播到第二层
        dW2 = np.dot(self.a1.T, delta3)
        db2 = np.sum(delta3, axis=0, keepdims=True)

        # 反向传播到第一层
        delta2 = np.dot(delta3, self.W2.T) * (1 - np.power(self.a1, 2))
        dW1 = np.dot(X.T, delta2)
        db1 = np.sum(delta2, axis=0)

        # 参数更新
        self.W2 -= learning_rate * dW2
        self.b2 -= learning_rate * db2
        self.W1 -= learning_rate * dW1
        self.b1 -= learning_rate * db1