深度学习训练中batchsize过小导致过拟合的解决方案与调优实践

1次阅读

没有评论

共计 1749 个字符，预计需要花费 5 分钟才能阅读完成。

在深度学习训练过程中，batchsize 的选择直接影响模型收敛速度和泛化性能。当 batchsize 过小时（如设置为 1 或个位数），每个 step 的梯度计算仅基于少量样本，这会带来两个核心问题：

高频梯度更新引入噪声：小 batchsize 导致权重更新方向受单个 batch 内样本分布的随机性影响更大，相当于在参数空间中进行 ” 噪声更大 ” 的随机游走
正则化效应减弱：大 batchsize 本质上是多个样本梯度的平均，这种平均操作自带正则化效果，而小 batchsize 削弱了这种平滑作用

训练波动剧烈：损失函数曲线出现剧烈震荡，难以稳定收敛
显存利用率低下：GPU 的并行计算能力无法充分发挥
收敛速度慢：需要更多 step 才能达到相同精度的解
泛化性下降：在验证集上表现波动大，最终模型容易过拟合训练数据

梯度累积 (Gradient Accumulation) 通过多个小 batch 的梯度求和后再更新参数，模拟大 batchsize 的效果。其核心逻辑是：

保持前向计算和反向传播的 batchsize 不变
累计 N 个 batch 的梯度后再执行参数更新
等效 batchsize = 实际 batchsize × N

PyTorch 实现关键代码：

# 梯度累积步数
accum_steps = 4 

for epoch in range(epochs):
    optimizer.zero_grad()

    for i, (inputs, labels) in enumerate(train_loader):
        outputs = model(inputs)
        loss = criterion(outputs, labels)

        # 缩放损失以考虑累积
        loss = loss / accum_steps  
        loss.backward()

        if (i+1) % accum_steps == 0:
            optimizer.step()
            optimizer.zero_grad()

根据训练阶段动态调整 batchsize 的策略：

线性预热：训练初期使用较小 batchsize，逐步增大
课程学习：根据模型当前表现自动调整 batchsize
显存感知：监控 GPU 利用率动态调整 batch

实现示例：

def adjust_batch_size(current_epoch, max_epoch):
    base_size = 32
    # 线性增长策略
    return min(base_size * (1 + current_epoch), 256)

通过 FP16 精度减少显存占用，从而允许使用更大 batchsize：

前向计算使用 FP16
权重更新保持 FP32 精度
使用梯度缩放防止下溢

PyTorch 实现：

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    outputs = model(inputs)
    loss = criterion(outputs, labels)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()