CNN中的批量归一化：原理剖析与实战优化指南

1次阅读

共计 1924 个字符，预计需要花费 5 分钟才能阅读完成。

在深度卷积神经网络 (CNN) 训练过程中，随着网络层数的加深，每层输入数据的分布会逐渐发生偏移（Internal Covariate Shift，内部协变量偏移）。这会导致两个主要问题：

需要更低的学习率来维持训练稳定性
更难使用饱和非线性激活函数（如 sigmoid）

传统的归一化方法（如对输入数据进行标准化）只能解决第一层的输入分布问题，无法处理深层网络的内部协变量偏移。

方法	适用场景	计算复杂度	优点
批量归一化(BatchNorm)	CNN、全连接网络	O(N×H×W×C)	训练稳定，收敛快
层归一化(LayerNorm)	RNN、Transformer	O(N×H×W)	不依赖 batch size
实例归一化(InstanceNorm)	风格迁移	O(H×W×C)	保留样本间差异

批量归一化的核心操作可以用以下公式表示：

$$\hat{x} = \frac{x – \mu_\mathcal{B}}{\sqrt{\sigma_\mathcal{B}^2 + \epsilon}}$$
$$y = \gamma \hat{x} + \beta$$

其中：
– $\mu_\mathcal{B}$ 是当前 batch 的均值
– $\sigma_\mathcal{B}^2$ 是当前 batch 的方差
– $\epsilon$ 是防止除零的小常数
– $\gamma$ 和 $\beta$ 是可学习的缩放和平移参数

这两个参数允许网络学习是否需要恢复原始分布（当 $\gamma=\sqrt{\sigma^2+\epsilon}$，$\beta=\mu$ 时）。

import torch
import torch.nn as nn

class CustomBatchNorm1d(nn.Module):
    def __init__(self, num_features, eps=1e-5, momentum=0.1):
        super().__init__()
        self.eps = eps
        self.momentum = momentum

        # 可训练参数
        self.gamma = nn.Parameter(torch.ones(num_features))
        self.beta = nn.Parameter(torch.zeros(num_features))

        # 运行时统计量
        self.register_buffer('running_mean', torch.zeros(num_features))
        self.register_buffer('running_var', torch.ones(num_features))

    def forward(self, x):
        if self.training:
            # 训练模式：计算当前 batch 统计量
            dims = (0,)  # 对 batch 维度求均值
            mean = x.mean(dims)
            var = x.var(dims, unbiased=False)

            # 更新运行时统计量
            with torch.no_grad():
                self.running_mean = (1 - self.momentum) * self.running_mean + self.momentum * mean
                self.running_var = (1 - self.momentum) * self.running_var + self.momentum * var
        else:
            # 验证模式：使用积累的统计量
            mean = self.running_mean
            var = self.running_var

        # 归一化
        x_hat = (x - mean) / torch.sqrt(var + self.eps)
        return self.gamma * x_hat + self.beta