BP神经网络训练优化：动量因子(Momentum)的原理与工程实践

1次阅读

没有评论

共计 1700 个字符，预计需要花费 5 分钟才能阅读完成。

在训练 BP 神经网络时，我们经常遇到两个典型问题：

振荡收敛：梯度下降过程中，参数更新方向在不同维度上摆动较大，导致收敛路径呈 ” 之 ” 字形
局部最优：模型容易陷入局部极小值点，特别是当损失曲面存在大量鞍点时

传统 SGD（随机梯度下降）就像在山坡滚动的保龄球，只考虑当前坡度方向。当遇到沟壑地形时，球体会反复横跳难以快速到达谷底。动量因子正是为了解决这个问题而提出的优化方案。

动量法的核心思想来源于物理学中的动量概念：

$$ v_t = \beta v_{t-1} + (1-\beta)\nabla_\theta J(\theta) $$
$$ \theta = \theta – \alpha v_t $$

其中：
– $\beta$ 是动量系数（通常取 0.5-0.99）
– $v_t$ 是当前更新速度
– $\alpha$ 是学习率

这个公式的物理意义是：参数更新方向不仅取决于当前梯度，还会保留之前更新方向的部分记忆。就像在下坡时给保龄球增加惯性，使其能够：

在稳定梯度方向加速前进
在震荡方向抵消摆动

下面用 PyTorch 实现带 Momentum 的全连接网络：

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 数据加载
train_loader = torch.utils.data.DataLoader(
    datasets.MNIST('../data', train=True, download=True,
                   transform=transforms.Compose([transforms.ToTensor(),
                       transforms.Normalize((0.1307,), (0.3081,))
                   ])),
    batch_size=64, shuffle=True)

# 模型定义
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(784, 128)
        self.fc2 = nn.Linear(128, 10)

    def forward(self, x):
        x = x.view(-1, 784)
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        return x

model = Net()
optimizer = optim.SGD(model.parameters(), 
                     lr=0.01, 
                     momentum=0.9)  # 关键动量参数设置

# 训练循环
for epoch in range(10):
    for batch_idx, (data, target) in enumerate(train_loader):
        optimizer.zero_grad()
        output = model(data)
        loss = nn.CrossEntropyLoss()(output, target)
        loss.backward()
        optimizer.step()

我们在 MNIST 数据集上测试不同动量系数的效果：