Batch Norm批量归一化：原理剖析与深度学习模型优化实战

1次阅读

共计 1566 个字符，预计需要花费 4 分钟才能阅读完成。

深度神经网络训练过程中，每一层的输入分布会随着前一层参数更新而不断变化，这种现象被称为内部协变量偏移（Internal Covariate Shift）。这会导致后续层需要不断适应新的数据分布，从而降低训练效率。Batch Norm 通过规范化每一层的输入分布，有效缓解了这一问题。

内部协变量偏移的影响：随着网络深度增加，层间分布变化会累积放大，导致梯度消失或爆炸
Batch Norm 的解决方案：对每个 batch 的数据进行标准化（减去均值、除以标准差），使输入保持稳定分布
额外收益：允许使用更大的学习率，减少对参数初始化的依赖，并有一定正则化效果

不同的归一化技术适用于不同场景：

Batch Norm：依赖 batch 统计量，在 CNN 中表现优异，但对 batch size 敏感
Layer Norm：沿特征维度归一化，适合 RNN 和 Transformer 结构
Instance Norm：对每个样本单独归一化，常用于风格迁移任务

对于 batch 中的特征 x：

计算 batch 均值：
```
μ = mean(x)
```
计算 batch 方差：
```
σ² = var(x)
```
归一化：
```
x̂ = (x - μ)/√(σ² + ε)
```
缩放和平移：
```
y = γx̂ + β
```

在训练时，Batch Norm 需要维护移动平均的均值和方差用于推理阶段：

移动平均均值：

μ_running = momentum * μ_running + (1 - momentum) * μ

移动平均方差：

σ²_running = momentum * σ²_running + (1 - momentum) * σ²

import torch
import torch.nn as nn

class ModelWithBN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 64, kernel_size=3)
        self.bn1 = nn.BatchNorm2d(64)
        self.conv2 = nn.Conv2d(64, 128, kernel_size=3)
        self.bn2 = nn.BatchNorm2d(128)
        self.fc = nn.Linear(128*10*10, 10)

    def forward(self, x):
        x = self.conv1(x)
        x = self.bn1(x)
        x = F.relu(x)
        x = self.conv2(x)
        x = self.bn2(x)
        x = F.relu(x)
        x = x.view(x.size(0), -1)
        x = self.fc(x)
        return x

# 训练时自动计算 batch 统计量
model.train()
output = model(input)

# 推理时使用训练阶段累积的统计量
model.eval()
with torch.no_grad():
    output = model(input)