深度学习中的batch-size选择：如何平衡训练效率与过拟合风险

1次阅读

没有评论

共计 2037 个字符，预计需要花费 6 分钟才能阅读完成。

在深度学习中，batch-size 的选择不仅影响训练速度，还直接关系到模型的泛化能力。今天我们就来聊聊这个看似简单却暗藏玄机的超参数，以及它和过拟合之间的微妙关系。

batch-size 决定了每次参数更新时使用的样本数量。它的选择会从多个方面影响训练过程：

内存消耗 ：较大的 batch-size 需要更多显存
训练速度 ：大批量通常能利用硬件并行性加速计算
梯度质量 ：小批量能提供更多样化的梯度信息

有趣的是，batch-size 还会影响模型的泛化性能。这就像我们学习新知识时，一次性接触太多信息（大批量）可能难以消化，而少量多次（小批量）反而能学得更扎实。

梯度方差减小 ：大批量平均了更多样本的梯度，导致更新方向过于 ” 平滑 ”
陷入尖锐极小值 ：容易收敛到训练集上表现好但泛化差的解
正则化效果减弱 ：相当于减少了训练过程中的噪声

梯度噪声过大 ：更新方向波动剧烈，训练不稳定
硬件利用率低 ：无法充分利用 GPU 的并行计算能力
收敛速度慢 ：需要更多迭代次数才能达到相同精度

当增加 batch-size 时，学习率也应相应增大。经验法则是：

batch-size 扩大 k 倍，学习率也应扩大 k 倍
但要注意这存在上限，通常不超过初始学习率的 10 倍

更精细的做法是根据 batch-size 动态调整学习率：

base_lr = 0.1
base_batch = 32

def adjust_lr(current_batch):
    return base_lr * (current_batch / base_batch)**0.5

下面我们用一个简单的 CNN 在 CIFAR-10 上展示不同 batch-size 的效果：

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 定义模型
class SimpleCNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 16, 3, padding=1)
        self.conv2 = nn.Conv2d(16, 32, 3, padding=1)
        self.fc = nn.Linear(32*8*8, 10)

    def forward(self, x):
        x = F.relu(self.conv1(x))
        x = F.max_pool2d(x, 2)
        x = F.relu(self.conv2(x))
        x = F.max_pool2d(x, 2)
        x = x.view(x.size(0), -1)
        return self.fc(x)

# 准备数据
transform = transforms.Compose([transforms.ToTensor(),
    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])

train_set = datasets.CIFAR10('./data', train=True, download=True, transform=transform)

# 测试不同 batch-size
batch_sizes = [32, 64, 128, 256]
results = {}

for bs in batch_sizes:
    train_loader = torch.utils.data.DataLoader(train_set, batch_size=bs, shuffle=True)

    model = SimpleCNN().cuda()
    criterion = nn.CrossEntropyLoss()
    optimizer = optim.SGD(model.parameters(), lr=0.1*(bs/32))

    # 训练代码省略...
    # 记录训练和验证准确率
    results[bs] = {'train_acc': ..., 'val_acc': ...}

我们在 CIFAR-10 上测试了不同 batch-size 的表现：