Batch Normalization如何减少过拟合：原理剖析与实战验证

1次阅读

没有评论

共计 1613 个字符，预计需要花费 5 分钟才能阅读完成。

在深度学习训练中，过拟合是指模型在训练集上表现优异，但在测试集上性能显著下降的现象。传统解决方案包括：

增加训练数据
使用 L1/L2 权重正则化
采用 Dropout 层
早停法 (Early Stopping)

但这些方法各有局限：数据增强成本高，正则化需要精细调参，Dropout 会延长训练时间。Batch Normalization(BN) 则从数据分布的角度提供了新的解决思路。

BN 层的计算可分为两个阶段：

标准化：对每个特征维度独立计算 mini-batch 的均值和方差
$$\mu_B = \frac{1}{m}\sum_{i=1}^{m}x_i$$
$$\sigma_B^2 = \frac{1}{m}\sum_{i=1}^{m}(x_i-\mu_B)^2$$
$$\hat{x_i} = \frac{x_i – \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}$$
缩放平移：引入可学习参数 $\gamma$ 和 $\beta$
$$y_i = \gamma \hat{x_i} + \beta$$

ICS 是指神经网络中间层输入分布随训练发生变化的现像。这会导致：

后续层需要不断适应新的输入分布
梯度更新效率降低
更容易陷入局部最优

BN 通过强制每层的输入保持稳定分布，有效缓解了 ICS 问题。

BN 的正则化效果主要来自：

mini-batch 统计量的随机波动
这种噪声类似于 Dropout，但作用机制不同

方法	作用层面	实现方式
L2 正则化	权重	惩罚大权重值
Dropout	激活值	随机屏蔽神经元
BN	数据分布	规范化激活统计量

import torch
import torch.nn as nn

# 设置随机种子保证可复现
torch.manual_seed(42)

# 带 BN 的简单 CNN
class CNNWithBN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 16, 3)
        self.bn1 = nn.BatchNorm2d(16)
        self.conv2 = nn.Conv2d(16, 32, 3)
        self.bn2 = nn.BatchNorm2d(32)
        self.fc = nn.Linear(32*6*6, 10)

    def forward(self, x):
        x = F.relu(self.bn1(self.conv1(x)))
        x = F.max_pool2d(x, 2)
        x = F.relu(self.bn2(self.conv2(x)))
        x = F.max_pool2d(x, 2)
        x = torch.flatten(x, 1)
        return self.fc(x)

# 训练循环对比
for epoch in range(epochs):
    model.train()
    for x, y in train_loader:
        # 常规训练步骤
        ...

    # 验证阶段
    model.eval()
    with torch.no_grad():
        # 验证集评估
        ...

图：使用 BN(蓝色) 与不使用 BN(红色) 的训练验证准确率对比