Batch Norm批量归一化在深度网络中的实战优化：解决梯度消失与训练不稳定的难题

1次阅读

没有评论

共计 1652 个字符，预计需要花费 5 分钟才能阅读完成。

在深度神经网络中，梯度消失和内部协变量偏移是两大常见问题。梯度消失指的是在反向传播过程中，梯度随着网络层数的增加而指数级减小，导致深层网络参数更新缓慢。数学上可以表示为：

$$\frac{\partial L}{\partial W^{(l)}} = \frac{\partial L}{\partial a^{(L)}} \prod_{k=l}^{L-1} \sigma'(z^{(k)})W^{(k)}$$

内部协变量偏移则是指网络中间层输入的分布随着参数更新而不断变化，导致训练过程不稳定。传统的归一化方法（如对输入层进行归一化）无法解决中间层的这个问题。

Batch Normalization 通过对每个 mini-batch 的数据进行归一化来解决上述问题。其前向计算过程可分为以下几步：

计算 mini-batch 的均值：
$$\mu_B = \frac{1}{m}\sum_{i=1}^m x_i$$
计算 mini-batch 的方差：
$$\sigma_B^2 = \frac{1}{m}\sum_{i=1}^m (x_i – \mu_B)^2$$
归一化：
$$\hat{x}_i = \frac{x_i – \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}$$
缩放和平移（引入可学习的参数 γ 和 β）：
$$y_i = \gamma \hat{x}_i + \beta$$

其中 γ 和 β 的作用是保持网络的表达能力，让网络可以学习是否需要恢复某些特征。

下面是一个完整的 PyTorch 实现示例：

import torch
import torch.nn as nn

# 定义一个包含 BatchNorm 的简单网络
class SimpleCNN(nn.Module):
    def __init__(self):
        super(SimpleCNN, self).__init__()
        self.conv1 = nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1)
        self.bn1 = nn.BatchNorm2d(64)
        self.relu = nn.ReLU()
        self.pool = nn.MaxPool2d(2, 2)

    def forward(self, x):
        x = self.conv1(x)
        x = self.bn1(x)
        x = self.relu(x)
        x = self.pool(x)
        return x

# 初始化模型
model = SimpleCNN()

# 训练模式
model.train()
# 在这里会更新 running_mean 和 running_var

# 测试模式
model.eval()
# 使用训练阶段统计的 running_mean 和 running_var

Batch Norm 的效果受 batch_size 影响较大。对于小 batch_size 的情况，可以考虑以下改进方案：