批量归一化层(Batch Norm)原理剖析与工程实践指南

1次阅读

共计 2457 个字符，预计需要花费 7 分钟才能阅读完成。

批量归一化（Batch Normalization，简称 Batch Norm）是深度学习中常用的技术，主要用于解决神经网络训练过程中的 Internal Covariate Shift（内部协变量偏移）问题。简单来说，Internal Covariate Shift 指的是在训练过程中，由于网络参数的不断更新，每一层的输入分布会发生偏移，导致训练变得不稳定，收敛速度变慢。Batch Norm 通过对每一层的输入进行归一化，使其均值接近 0、方差接近 1，从而稳定训练过程。

数学上，Batch Norm 的计算公式如下：

$$ \hat{x} = \frac{x – \mu}{\sqrt{\sigma^2 + \epsilon}} $$

$$ y = \gamma \hat{x} + \beta $$

其中，(\mu) 和 (\sigma^2) 分别是当前批次的均值和方差，(\epsilon) 是一个很小的常数，用于防止分母为零，(\gamma) 和 (\beta) 是可学习的参数，用于恢复数据的表达能力。

与 Batch Norm 相比，Layer Norm 和 Instance Norm 适用于不同的场景：

Layer Norm：适用于序列数据（如 NLP 中的 Transformer），因为它对每个样本单独归一化，不依赖于批次。
Instance Norm：常用于风格迁移任务，因为它对每个样本的每个通道单独归一化，保留样本间的独立性。

以下是 PyTorch 中 Batch Norm 的实现示例，包含关键注释：

import torch
import torch.nn as nn

class BatchNormLayer(nn.Module):
    def __init__(self, num_features, eps=1e-5, momentum=0.1):
        super(BatchNormLayer, self).__init__()
        self.num_features = num_features
        self.eps = eps  # 防止分母为零的小常数
        self.momentum = momentum  # 控制滑动均值和方差的更新速度

        # 可学习参数 γ 和 β，初始化为 1 和 0
        self.gamma = nn.Parameter(torch.ones(num_features))
        self.beta = nn.Parameter(torch.zeros(num_features))

        # 注册滑动均值和方差的缓冲区
        self.register_buffer("running_mean", torch.zeros(num_features))
        self.register_buffer("running_var", torch.ones(num_features))

    def forward(self, x):
        if self.training:
            # 训练模式：计算当前批次的均值和方差
            mean = x.mean(dim=0, keepdim=True)
            var = x.var(dim=0, keepdim=True, unbiased=False)

            # 更新滑动均值和方差
            self.running_mean = (1 - self.momentum) * self.running_mean + self.momentum * mean
            self.running_var = (1 - self.momentum) * self.running_var + self.momentum * var
        else:
            # 推理模式：使用滑动均值和方差
            mean = self.running_mean
            var = self.running_var

        # 归一化
        x_normalized = (x - mean) / torch.sqrt(var + self.eps)

        # 缩放和偏移
        return self.gamma * x_normalized + self.beta