BP神经网络训练优化：动量因子(Momentum)的原理与工程实践

1次阅读

没有评论

共计 1725 个字符，预计需要花费 5 分钟才能阅读完成。

在传统的 BP 神经网络训练中，我们通常会使用随机梯度下降（SGD）来更新网络参数。然而，这种方法存在两个主要问题：

振荡问题：在损失函数的陡峭区域，梯度值较大，导致参数更新幅度过大，容易在最优解附近来回震荡。
收敛慢和局部最优：在平坦区域，梯度值很小，导致参数更新缓慢。同时，模型容易陷入局部最优而无法到达全局最优。

动量因子（Momentum）的引入就是为了解决这些问题。其核心思想是为梯度下降增加 ” 惯性 ”，使参数更新方向不仅取决于当前梯度，还考虑历史梯度的加权平均。

数学表达式为：

$$v_t = \beta v_{t-1} + (1-\beta)\nabla_\theta J(\theta)$$

$$\theta = \theta – \alpha v_t$$

其中：
– $v_t$ 是当前时刻的动量项
– $\beta$ 是动量系数，通常取 0.5-0.99
– $\alpha$ 是学习率

与普通 SGD 相比，带动量的 SGD 有以下优势：

在梯度方向一致的维度上加速收敛
在梯度方向变化的维度上减少震荡
有助于跳出局部最优

下面是用 PyTorch 实现带动量的全连接神经网络示例：

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 数据加载
transform = transforms.Compose([transforms.ToTensor(),
    transforms.Normalize((0.1307,), (0.3081,))
])
train_dataset = datasets.MNIST('./data', train=True, download=True, transform=transform)
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)

# 模型定义
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(784, 512)
        self.fc2 = nn.Linear(512, 10)

    def forward(self, x):
        x = x.view(-1, 784)
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        return x

model = Net()
criterion = nn.CrossEntropyLoss()

# 关键：这里设置动量参数
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)  # β=0.9

# 训练循环
for epoch in range(10):
    for batch_idx, (data, target) in enumerate(train_loader):
        optimizer.zero_grad()
        output = model(data)
        loss = criterion(output, target)
        loss.backward()
        optimizer.step()

我们在 MNIST 数据集上对比了不同动量系数下的训练效果：