Batch梯度下降的数学原理与工程实践：从理论到调参指南

1次阅读

共计 1961 个字符，预计需要花费 5 分钟才能阅读完成。

在深度学习的模型训练过程中，优化算法的选择直接影响着模型的收敛速度和最终性能。Batch 梯度下降作为最基础的优化方法之一，虽然在实际应用中不如 Mini-batch 梯度下降常见，但理解其原理对于掌握优化算法本质至关重要。本文将深入探讨 Batch 梯度下降的数学原理，对比不同优化方法的特性，并提供工程实践中的优化方案和代码实现。

Batch 梯度下降的核心思想是在每次参数更新时使用整个训练集的数据计算梯度。其权重更新过程可以用以下数学公式表示：

$$\theta_{t+1} = \theta_t – \eta \cdot \nabla_\theta J(\theta_t)$$

其中，$\theta_t$ 表示第 t 次迭代时的模型参数，$\eta$ 是学习率，$\nabla_\theta J(\theta_t)$ 是在当前参数下整个训练集的损失函数梯度。

与 SGD 和 Mini-batch 相比，Batch 梯度下降的最大特点是每次更新都使用全部训练数据，这使得：

梯度估计最为准确，更新方向最接近真实梯度方向
每次迭代的计算量最大，内存需求最高
更新频率最低，整个 epoch 只做一次参数更新

特性	SGD	Mini-batch	Batch
每次更新数据量	1 个样本	小批量样本	全部样本
内存占用	最低	中等	最高
收敛速度	慢但能跳出局部最优	较快	稳定但可能陷入局部最优
并行化潜力	低	高	中等
梯度噪声	大	中等	无

由于 Batch 梯度下降使用全量数据计算梯度，固定学习率容易导致后期震荡，常见衰减策略包括：

Time-based 衰减 ：
$$\eta_t = \frac{\eta_0}{1 + decay \cdot t}$$
Step-based 衰减 ：
每隔固定 epoch 将学习率乘以衰减系数
Exponential 衰减 ：
$$\eta_t = \eta_0 \cdot \gamma^t$$

梯度累积 ：
当单次全批量计算内存不足时，可以将数据分成若干子集，依次计算梯度并累加，最后统一更新
混合精度训练 ：
使用 FP16 存储和计算，减少内存占用并加速计算

以下是 PyTorch 实现带动态学习率的 Batch 梯度下降示例：

import torch
import torch.nn as nn
import torch.optim as optim
from torch.optim.lr_scheduler import StepLR

# 定义模型
model = nn.Linear(10, 1)

# 自定义优化器实现全批量更新
class FullBatchOptimizer(optim.Optimizer):
    def __init__(self, params, lr=0.01):
        defaults = dict(lr=lr)
        super(FullBatchOptimizer, self).__init__(params, defaults)

    def step(self, closure=None):
        for group in self.param_groups:
            for p in group['params']:
                if p.grad is None:
                    continue
                p.data.add_(-group['lr'], p.grad.data)

# 创建优化器和学习率调度器
optimizer = FullBatchOptimizer(model.parameters(), lr=0.1)
scheduler = StepLR(optimizer, step_size=30, gamma=0.1)

# 训练循环
for epoch in range(100):
    # 前向传播
    outputs = model(inputs)
    loss = criterion(outputs, labels)

    # 反向传播
    optimizer.zero_grad()
    loss.backward()

    # 参数更新
    optimizer.step()

    # 学习率更新
    scheduler.step()