深度学习中的批量归一化层（Batch Norm）原理与实战指南

1次阅读

共计 2351 个字符，预计需要花费 6 分钟才能阅读完成。

批量归一化（Batch Normalization，简称 Batch Norm）是深度学习中的一项重要技术，由 Sergey Ioffe 和 Christian Szegedy 在 2015 年提出。它的主要作用是解决深度神经网络训练过程中的内部协变量偏移（Internal Covariate Shift）问题，即网络中间层的输入分布随着参数更新而不断变化，导致训练困难。

Batch Norm 通过规范化每一层的输入，使其保持稳定的均值和方差，从而带来以下好处：

允许使用更高的学习率，加速模型收敛
减少对初始化的敏感度
提供一定的正则化效果，减少对 Dropout 的依赖
使网络对激活函数的选择更加鲁棒

Batch Norm 的正向传播过程可以分为以下几个步骤：

计算当前批量的均值和方差
对输入进行归一化
应用可学习的缩放和平移参数

数学表达式如下：

计算批量统计量：

$$\mu_B = \frac{1}{m}\sum_{i=1}^m x_i$$

$$\sigma_B^2 = \frac{1}{m}\sum_{i=1}^m (x_i – \mu_B)^2$$

归一化操作：

$$\hat{x_i} = \frac{x_i – \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}$$

缩放和平移：

$$y_i = \gamma \hat{x_i} + \beta$$

其中，$\gamma$ 和 $\beta$ 是可学习的参数，$\epsilon$ 是一个很小的常数（通常取 1e-5）用于数值稳定性。

import torch
import torch.nn as nn

# 定义一个简单的 CNN 网络，包含 BatchNorm 层
class SimpleCNN(nn.Module):
    def __init__(self):
        super(SimpleCNN, self).__init__()
        self.conv1 = nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1)
        self.bn1 = nn.BatchNorm2d(64)  # 对 64 个通道进行归一化
        self.relu = nn.ReLU()
        self.pool = nn.MaxPool2d(kernel_size=2, stride=2)

    def forward(self, x):
        x = self.conv1(x)
        x = self.bn1(x)  # 在卷积后、激活前应用 BatchNorm
        x = self.relu(x)
        x = self.pool(x)
        return x

# 使用示例
model = SimpleCNN()
input_tensor = torch.randn(32, 3, 224, 224)  # batch_size=32, 3 channels, 224x224
output = model(input_tensor)

import tensorflow as tf
from tensorflow.keras.layers import Conv2D, BatchNormalization, ReLU, MaxPool2D

# 定义一个简单的 CNN 网络，包含 BatchNorm 层
def build_model():
    inputs = tf.keras.Input(shape=(224, 224, 3))
    x = Conv2D(64, 3, padding='same')(inputs)
    x = BatchNormalization()(x)  # 在卷积后、激活前应用 BatchNorm
    x = ReLU()(x)
    x = MaxPool2D(2)(x)
    return tf.keras.Model(inputs=inputs, outputs=x)

# 使用示例
model = build_model()
input_tensor = tf.random.normal((32, 224, 224, 3))  # batch_size=32, 224x224, 3 channels
output = model(input_tensor)

Batch Norm 在训练和推理阶段的行为有重要区别：