BP神经网络参数调优实战：从基础原理到新手避坑指南

1次阅读

没有评论

共计 1670 个字符，预计需要花费 5 分钟才能阅读完成。

刚接触 BP 神经网络时，最让人头疼的就是参数调优。明明代码没有报错，但模型就是训练不好。常见的问题包括：

梯度消失 / 爆炸：深层网络中，梯度在反向传播时要么快速衰减到零，要么指数级增大，导致参数无法正常更新
局部最优陷阱：模型收敛到非全局最优解，表现为训练损失不再下降但预测效果很差
学习率敏感：稍大就震荡发散，稍小则训练缓慢，需要反复尝试

用 TensorBoard 可视化这些失败案例会看到典型的异常曲线：梯度爆炸时出现 NaN 值，学习率不当导致 loss 剧烈波动等。

学习率控制参数更新步长，其与收敛速度的关系可通过一阶泰勒展开推导：

$$
\theta_{t+1} = \theta_t – \eta \nabla J(\theta_t)
$$

当 η 过大时，会越过最优解（超调）；η 过小则收敛缓慢。理想情况应满足 Lipschitz 条件：

$$
\eta < \frac{2}{L}, \quad L 为损失函数的 Lipschitz 常数
$$

Xavier 初始化根据输入输出维度自动调整初始权重范围：

$$
W \sim U\left(-\sqrt{\frac{6}{n_{in}+n_{out}}}, \sqrt{\frac{6}{n_{in}+n_{out}}}\right)
$$

而 Glorot 正态分布初始化更适合 ReLU 激活函数：

$$
W \sim N(0, \sqrt{\frac{2}{n_{in}}})
$$

动量项相当于给参数更新增加 ” 惯性 ”，物理意义类似小球滚下山坡：

$$
v_t = \mu v_{t-1} + \eta \nabla J(\theta_t)
$$
$$
\theta_{t+1} = \theta_t – v_t
$$

μ 通常取 0.9，能有效抑制震荡。

import torch
import torch.nn as nn

class ThreeLayerNet(nn.Module):
    def __init__(self, input_dim, hidden_dim, output_dim):
        super().__init__()
        # Xavier 初始化
        self.fc1 = nn.Linear(input_dim, hidden_dim)
        nn.init.xavier_normal_(self.fc1.weight)

        # 带 L2 正则化的 Adam 优化器
        self.optimizer = torch.optim.Adam(self.parameters(), 
            lr=0.001,
            weight_decay=1e-4  # L2 系数 λ
        )
        # 自定义学习率衰减
        self.scheduler = torch.optim.lr_scheduler.StepLR(self.optimizer, step_size=30, gamma=0.1)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        return x

# 梯度裁剪（防止爆炸）torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

关键实现细节：
1. weight_decay参数实现 L2 正则化
2. StepLR 每 30 个 epoch 将学习率乘以 0.1
3. clip_grad_norm_限制梯度最大范数