Batch Norm批量归一化实战指南：从原理到PyTorch实现

1次阅读

共计 1798 个字符，预计需要花费 5 分钟才能阅读完成。

在训练深度神经网络时，每一层的输入分布会随着前一层参数更新而不断变化，这种现象称为 内部协变量偏移（Internal Covariate Shift）。就像让一个人不断适应剧烈波动的环境温度，模型的隐藏层必须持续调整来适应输入分布的变化，导致两个严重问题：

训练效率低下：网络需要更小的学习率和更多的迭代次数来稳定学习
梯度传播不稳定：深层网络容易出现梯度消失 / 爆炸现象

Batch Norm（BN）：
对 batch 内每个特征通道进行标准化（均值 =0，方差 =1）
适用场景：CNN 等固定维度输入的模型
优势：大幅提升收敛速度，允许更大的学习率
Layer Norm（LN）：
对单个样本的所有特征进行标准化
典型应用：Transformer、RNN 等变长输入结构
Instance Norm（IN）：
对每个样本的每个通道单独标准化
主要战场：风格迁移等图像生成任务

给定一个 batch 的特征数据 ${x_1,…,x_m}$，BN 操作分三步：

计算 batch 统计量：
$$\mu_B = \frac{1}{m}\sum_{i=1}^m x_i$$
$$\sigma_B^2 = \frac{1}{m}\sum_{i=1}^m (x_i-\mu_B)^2$$
标准化：
$$\hat{x}_i = \frac{x_i – \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}$$
仿射变换（引入可学习参数 γ /β）：
$$y_i = \gamma \hat{x}_i + \beta$$

其中 $\gamma$ 控制缩放，$\beta$ 控制偏移，这两个参数让网络可以自主决定是否需要保留原始分布特性。

import torch
import torch.nn as nn

# 定义带 BN 的卷积块
class ConvBNReLU(nn.Module):
    def __init__(self, in_c, out_c, kernel_size=3):
        super().__init__()
        self.conv = nn.Conv2d(in_c, out_c, kernel_size, padding=kernel_size//2)
        self.bn = nn.BatchNorm2d(out_c)  # 每个特征通道单独归一化
        self.relu = nn.ReLU(inplace=True)

    def forward(self, x):
        # 训练时 track_running_stats=True 会记录移动平均
        x = self.conv(x)
        x = self.bn(x)  # 自动区分 train/eval 模式
        return self.relu(x)

# 模型部署时需要冻结统计量
model.eval()  # 停止计算 running_mean/var，使用训练积累的值
with torch.no_grad():
    output = model(input)

– 左图：原始特征分布在不同 batch 间差异显著
– 右图：BN 处理后分布稳定在 N(0,1)附近