BP反向传播神经网络训练中的梯度消失问题与优化策略

1次阅读

共计 1834 个字符，预计需要花费 5 分钟才能阅读完成。

在深度神经网络中，反向传播通过链式法则计算梯度。当网络层数较深时，梯度计算公式会涉及连续乘法：

$$\frac{\partial L}{\partial w^{(l)}} = \frac{\partial L}{\partial z^{(L)}} \cdot \prod_{k=l}^{L-1} (W^{(k+1)})^T \odot \sigma'(z^{(k)})$$

其中 $\sigma’$ 是激活函数的导数。当使用 sigmoid/tanh 等函数时，其导数值域小于 1（如 sigmoid 导数最大仅 0.25），多层连乘会导致梯度指数级衰减。

Leaky ReLU：保留负区间的小斜率（如 0.01），解决神经元 ” 死亡 ” 问题
```
torch.nn.LeakyReLU(negative_slope=0.01)
```
ELU：负区间使用指数曲线，均值更接近 0
```
torch.nn.ELU(alpha=1.0)
```
SELU：自带归一化特性的激活函数，需配合特定初始化

Batch Normalization：通过标准化激活值分布缓解内部协变量偏移
```
torch.nn.BatchNorm1d(hidden_size)
```

残差连接 ：建立跨层梯度高速公路

class ResidualBlock(nn.Module):
    def forward(self, x):
        return x + self.conv_block(x)

import torch
import torch.nn as nn
import matplotlib.pyplot as plt

# 带残差连接的深度网络
class DeepResNet(nn.Module):
    def __init__(self, input_dim):
        super().__init__()
        self.block1 = nn.Sequential(nn.Linear(input_dim, 128),
            nn.BatchNorm1d(128),
            nn.LeakyReLU(),
            nn.Dropout(0.3)
        )
        self.res_blocks = nn.Sequential(*[
            nn.Sequential(nn.Linear(128, 128),
                nn.BatchNorm1d(128),
                nn.LeakyReLU(),
                nn.Dropout(0.2)
            ) for _ in range(5)
        ])
        self.output = nn.Linear(128, 1)

        # Xavier 初始化
        for m in self.modules():
            if isinstance(m, nn.Linear):
                nn.init.xavier_normal_(m.weight)

    def forward(self, x):
        x = self.block1(x)
        for block in self.res_blocks:
            x = x + block(x)  # 残差连接
        return self.output(x)

# 训练对比
model = DeepResNet(64)
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
criterion = nn.MSELoss()

# 训练循环（示例）losses = []
for epoch in range(100):
    optimizer.zero_grad()
    outputs = model(inputs)
    loss = criterion(outputs, targets)
    loss.backward()
    optimizer.step()
    losses.append(loss.item())

# 绘制损失曲线
plt.plot(losses)
plt.title('Training Loss Curve')
plt.xlabel('Epoch')
plt.ylabel('MSE Loss')