CNN中的批量归一化(Batch Normalization)原理详解与实战避坑指南

1次阅读

没有评论

共计 1881 个字符，预计需要花费 5 分钟才能阅读完成。

在深层卷积神经网络训练过程中，大家可能经常遇到这些问题：

模型训练不稳定，损失值剧烈震荡
必须使用极小的学习率，导致收敛缓慢
不同层的参数需要精心调整初始化方式

这些问题的根源之一就是Internal Covariate Shift（内部协变量偏移）。简单来说，随着网络层数加深，前一层的参数更新会导致后一层的输入分布不断变化，相当于后续层要不停适应这种变化，大大拖慢训练速度。

批量归一化（BN）的核心思想是对每层的输入进行标准化，使其保持稳定的分布。具体实现分为两步：

对于一个 batch 中的特征数据，我们计算其均值和方差：

μ_B = \frac{1}{m}\sum_{i=1}^m x_i

σ_B^2 = \frac{1}{m}\sum_{i=1}^m (x_i - μ_B)^2

然后将数据标准化为均值为 0、方差为 1 的分布：

\hat{x}_i = \frac{x_i - μ_B}{\sqrt{σ_B^2 + ϵ}}

（其中 ϵ 是一个很小的数，防止分母为零）

标准化后的数据虽然稳定，但可能损失了原有的一些表达能力。因此 BN 引入了两个可学习的参数 γ 和 β：

y_i = γ\hat{x}_i + β

这两个参数会在训练过程中自动学习，恢复网络原有的表达能力。

在 PyTorch 中，我们可以直接使用 nn.BatchNorm2d 来实现 BN 层。下面是一个完整的 LeNet- 5 示例：

import torch
import torch.nn as nn

class LeNet5(nn.Module):
    def __init__(self):
        super(LeNet5, self).__init__()
        self.conv1 = nn.Conv2d(1, 6, 5)
        self.bn1 = nn.BatchNorm2d(6)  # 第一个 BN 层，对应 6 个通道
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.bn2 = nn.BatchNorm2d(16) # 第二个 BN 层，对应 16 个通道
        self.fc1 = nn.Linear(16*4*4, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = torch.relu(self.bn1(self.conv1(x)))  # 卷积后接 BN 和激活
        x = torch.max_pool2d(x, 2)
        x = torch.relu(self.bn2(self.conv2(x)))
        x = torch.max_pool2d(x, 2)
        x = x.view(-1, 16*4*4)
        x = torch.relu(self.fc1(x))
        x = torch.relu(self.fc2(x))
        x = self.fc3(x)
        return x

# 训练和测试时的模式切换
model = LeNet5()
model.train()  # 训练时会计算当前 batch 的统计量并更新 running_mean/running_var
model.eval()   # 测试时直接使用 running_mean/running_var 进行归一化