梯度下降优化实战：如何突破局部最优陷阱的5种工程方法

1次阅读

共计 1763 个字符，预计需要花费 5 分钟才能阅读完成。

在训练神经网络时，我们经常会遇到损失函数卡在某个位置不再下降的情况，这很可能就是陷入了局部最优。就像下图中的小球，卡在了半山腰的凹陷处，而无法到达最低点（全局最优）。

# 二维凸函数示意图代码示例
import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(-5, 5, 100)
y = x**4 - 3*x**3 + 2
plt.plot(x, y)
plt.xlabel('参数值')
plt.ylabel('损失值')
plt.title('局部最优示意')
plt.show()

想象一下推下山坡的保龄球：

传统梯度下降：像小球每一步都重新计算方向
动量法：给小球加上 ” 惯性 ”，$v_t = \gamma v_{t-1} + \eta \nabla_\theta J(\theta)$
Nesterov 改进：先看未来一步的位置再计算梯度

不同参数应该有不同学习节奏：

AdaGrad：累加历史梯度平方 $G_t = G_{t-1} + g_t^2$
RMSProp：引入衰减因子 $E[g^2]t = \gamma E[g^2] + (1-\gamma)g_t^2$
Adam：结合动量与自适应（最常用）

简单但有效的逃生策略：

当验证集 loss 连续 N 轮不下降时
随机初始化部分参数重新训练
适合与早停机制配合使用

受冶金工艺启发的智能随机：

初始 ” 温度 ” 高时允许跳出不利移动
温度调度常用余弦退火：$\eta_t = \eta_{min} + \frac{1}{2}(\eta_{max}-\eta_{min})(1+\cos(\frac{T_{cur}}{T_{max}}\pi))$

改变优化地形的高效方法：

使各层输入保持稳定分布
相当于平滑了损失函数表面
允许使用更大学习率

# MNIST 分类任务完整示例
import torch
import torch.nn as nn
import torch.optim as optim
from torch.optim.lr_scheduler import CosineAnnealingLR

# 网络结构
model = nn.Sequential(nn.Linear(784, 256),
    nn.BatchNorm1d(256),
    nn.ReLU(),
    nn.Linear(256, 10)
)

# 优化器组合
optimizer = optim.SGD(model.parameters(), 
                     lr=0.1, 
                     momentum=0.9,
                     nesterov=True)
scheduler = CosineAnnealingLR(optimizer, T_max=10)

# 训练循环
for epoch in range(100):
    # 学习率热启动
    if epoch < 5:
        lr = 0.01 * (epoch+1)
        for param_group in optimizer.param_groups:
            param_group['lr'] = lr

    # 常规训练步骤
    optimizer.zero_grad()
    outputs = model(inputs)
    loss = criterion(outputs, labels)
    loss.backward()
    optimizer.step()
    scheduler.step()

batch_size=128 时各方法显存占用：
SGD: 1.2GB
Adam: 1.5GB
Adam+BN: 1.8GB