CNN批量归一化层：原理剖析与工程实践指南

1次阅读

共计 1744 个字符，预计需要花费 5 分钟才能阅读完成。

在深度卷积神经网络（CNN）训练中，梯度消失或爆炸是常见问题。随着网络层数增加，每层输入的分布会逐渐发生偏移（Internal Covariate Shift），导致训练过程变得极其不稳定。传统的归一化方法如 Min-Max Scaling 或 Z -Score 标准化只能对输入数据进行处理，无法解决网络中间层的分布偏移问题。

批量归一化（Batch Normalization, BN）的提出，通过规范化每一层的输入分布，有效缓解了这些问题。它不仅能加速训练收敛，还允许使用更高的学习率，同时具有一定的正则化效果。

批量归一化的前向计算可分为以下步骤：

计算当前 batch 的均值：
$$\mu_B = \frac{1}{m}\sum_{i=1}^m x_i$$
计算当前 batch 的方差：
$$\sigma_B^2 = \frac{1}{m}\sum_{i=1}^m (x_i – \mu_B)^2$$
归一化处理：
$$\hat{x}_i = \frac{x_i – \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}$$
缩放和平移（引入可学习参数 γ 和 β）：
$$y_i = \gamma \hat{x}_i + \beta$$

其中，ε 是为数值稳定性添加的小常数。反向传播时，γ 和 β 会像其他网络参数一样通过梯度下降进行更新。

PyTorch 和 TensorFlow 在 BN 实现上有一些重要差异：

PyTorch (nn.BatchNorm2d)：
默认 momentum=0.1（用于移动平均计算）
训练时 track_running_stats 默认为 True
在 eval 模式下自动使用保存的统计量
TensorFlow (BatchNormalization)：
默认 momentum=0.99（与 PyTorch 方向相反）
需要手动控制 training 参数
更新操作需要显式放在依赖关系中

import torch.nn as nn

# 定义带 BN 层的网络
model = nn.Sequential(nn.Conv2d(3, 64, kernel_size=3, padding=1),
    nn.BatchNorm2d(64),
    nn.ReLU(),
    nn.MaxPool2d(2)
)

# 训练阶段
model.train()  # 自动计算并更新 running_mean/var
output = model(input_tensor)

# 推理阶段
model.eval()  # 使用保存的 running_mean/var
with torch.no_grad():
    pred = model(test_tensor)

from tensorflow.keras.layers import BatchNormalization

# 定义带 BN 层的网络
inputs = tf.keras.Input(shape=(32,32,3))
x = Conv2D(64, 3, padding='same')(inputs)
x = BatchNormalization()(x, training=True)  # 训练模式
x = ReLU()(x)
outputs = MaxPool2D(2)(x)
model = tf.keras.Model(inputs, outputs)