深度学习入门：batch实现反向传播的原理与实战

1次阅读

没有评论

共计 1834 个字符，预计需要花费 5 分钟才能阅读完成。

刚开始接触深度学习时，实现反向传播算法往往让人头疼。特别是在处理大规模数据集时，逐样本计算梯度会遇到几个典型问题：

计算效率极低：每个样本都要单独进行前向传播和反向传播，导致训练过程异常缓慢。
内存占用过高：需要同时保存所有中间计算结果，容易导致内存溢出（OOM）。
梯度更新不稳定：单个样本的梯度可能带有很大噪声，使得模型难以收敛。

batch 处理是解决上述问题的有效方法，但 batch 大小的选择需要权衡：

全批量梯度下降（Batch GD）
优点：梯度估计准确，收敛稳定
缺点：内存需求大，容易陷入局部最优
随机梯度下降（SGD）
优点：内存占用小，可能跳出局部最优
缺点：梯度噪声大，收敛不稳定
小批量梯度下降（Mini-batch GD）
优点：平衡了计算效率和收敛稳定性
缺点：需要选择合适的 batch size

batch 反向传播的核心思想是：对 batch 内所有样本的梯度求平均。数学表达式为：

$$
\frac{\partial L}{\partial W} = \frac{1}{m}\sum_{i=1}^m \frac{\partial L^{(i)}}{\partial W}
$$

其中 m 是 batch size，$L^{(i)}$ 是第 i 个样本的损失。计算流程如下：

前向传播：对 batch 内所有样本计算预测值
计算损失：汇总 batch 的总损失
反向传播：计算每个样本的梯度
梯度平均：对 batch 内所有梯度取平均
参数更新：使用平均梯度更新模型参数

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 初始化权重
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros(hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros(output_size)

    def forward(self, X):
        # 前向传播
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = np.tanh(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        return self.z2

    def backward(self, X, y, learning_rate):
        m = X.shape[0]  # batch size

        # 计算输出层梯度
        dz2 = self.z2 - y  # 假设使用 MSE 损失
        dW2 = np.dot(self.a1.T, dz2) / m
        db2 = np.sum(dz2, axis=0) / m

        # 计算隐藏层梯度
        dz1 = np.dot(dz2, self.W2.T) * (1 - np.power(self.a1, 2))
        dW1 = np.dot(X.T, dz1) / m
        db1 = np.sum(dz1, axis=0) / m

        # 参数更新
        self.W2 -= learning_rate * dW2
        self.b2 -= learning_rate * db2
        self.W1 -= learning_rate * dW1
        self.b1 -= learning_rate * db1

batch 大小对训练过程有多方面影响：