bp前馈神经网络实战：从梯度消失到模型优化的完整解决方案

1次阅读

共计 1459 个字符，预计需要花费 4 分钟才能阅读完成。

在构建深层 bp 前馈神经网络时，工程师常遇到以下核心问题：

梯度消失 ：反向传播时梯度呈指数级衰减，底层权重几乎不更新
过拟合 ：训练误差持续下降但验证误差早熟，模型泛化能力差
训练震荡 ：损失函数出现剧烈波动，收敛过程不稳定

不同激活函数对梯度传播的影响显著，关键差异如下表所示：

激活函数	梯度表达式	饱和区表现	死亡神经元风险
Sigmoid	σ(1-σ)	强烈饱和 (0/ 1 处)	低
Tanh	1 – tanh²(x)	中等饱和	低
ReLU	1 if x>0 else 0	无正区间饱和	高
LeakyReLU	1 if x>0 else 0.01	基本无饱和	极低

import torch
import torch.nn as nn

class EnhancedMLP(nn.Module):
    def __init__(self, input_dim=784, hidden_dim=256, output_dim=10):
        super().__init__()
        # Xavier 初始化全连接层
        self.fc1 = nn.Linear(input_dim, hidden_dim)
        nn.init.xavier_normal_(self.fc1.weight)

        # LeakyReLU 激活（负斜率 0.01）self.act = nn.LeakyReLU(0.01) 

        # 带 BatchNorm 的隐藏层
        self.bn = nn.BatchNorm1d(hidden_dim)
        self.fc2 = nn.Linear(hidden_dim, output_dim)

    def forward(self, x):
        x = x.view(-1, 784)  # 展平 MNIST 图片
        x = self.fc1(x)
        x = self.bn(x)  # BN 在激活前应用
        x = self.act(x)
        return self.fc2(x)

def train(model, loader):
    optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
    for x, y in loader:
        out = model(x)
        loss = F.cross_entropy(out, y)

        # 反向传播前清空梯度
        optimizer.zero_grad()  
        loss.backward()

        # 打印各层梯度 L2 范数
        for name, param in model.named_parameters():
            if 'weight' in name:
                print(f'{name} grad norm: {param.grad.norm(2).item():.4f}')

        optimizer.step()

在 MNIST 测试集上的准确率对比：