深度学习调参实战：如何通过batch-size优化解决过拟合问题

1次阅读

共计 1768 个字符，预计需要花费 5 分钟才能阅读完成。

全批量梯度下降 vs 小批量梯度下降
当 batch-size 等于整个训练集时，称为全批量梯度下降（Batch GD），其梯度计算准确但计算成本高。随机梯度下降（SGD）则是 batch-size= 1 的极端情况，每次更新仅用单个样本，噪声大但收敛速度快。实际常用的是小批量梯度下降（Mini-batch GD），平衡了计算效率和稳定性。
噪声与泛化的博弈
小 batch-size 带来的梯度噪声类似于隐式正则化，有助于逃离局部最优，提升模型泛化能力。但过小的 batch 会降低 GPU 并行效率；过大的 batch 则可能导致模型陷入尖锐最小值（Sharp Minima），验证集表现变差。
理论推导：梯度方差的影响
设总样本数为 N，batch-size 为 B，则梯度方差与 1 / B 正相关。更大的 batch-size 会减小方差，使更新方向更稳定，但也可能失去“噪声探索”带来的正则化效果。

使用 ResNet-18 在 CIFAR-10 数据集上进行测试（学习率固定为 0.1）：

Batch-Size	训练准确率	验证准确率	过拟合程度
32	98.2%	89.5%	8.7%
64	97.8%	90.1%	7.7%
128	96.5%	90.3%	6.2%
256	95.1%	89.8%	5.3%

实验显示：batch-size=128 时达到最佳平衡点，继续增大 batch-size 反而导致验证性能下降。

from torch.utils.data import DataLoader
from torchvision import datasets, transforms

def get_dataloader(batch_size: int):
    transform = transforms.Compose([transforms.ToTensor(),
        transforms.Normalize((0.5,), (0.5,))
    ])
    train_set = datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)
    return DataLoader(train_set, batch_size=batch_size, shuffle=True)

from tqdm import tqdm

best_val_acc = 0
patience = 3
no_improve = 0

for epoch in range(100):
    model.train()
    for X, y in tqdm(train_loader):
        # 训练代码...

    # 验证阶段
    model.eval()
    val_acc = evaluate(val_loader)

    # 早停判断
    if val_acc > best_val_acc:
        best_val_acc = val_acc
        no_improve = 0
        torch.save(model.state_dict(), 'best_model.pth')
    else:
        no_improve += 1
        if no_improve >= patience:
            print(f'Early stopping at epoch {epoch}')
            break