梯度下降优化实战：如何通过特征缩放和学习率调整提升模型性能

1次阅读

共计 1624 个字符，预计需要花费 5 分钟才能阅读完成。

在实际训练中，我们经常会遇到两个典型问题：

特征尺度差异大：比如房屋价格预测中，房间数量（1-10）和房屋面积（50-200 平米）的数值范围相差 20 倍。这会导致损失函数的等高线呈狭窄的椭圆形，梯度下降需要反复震荡才能找到最小值。
固定学习率的局限性：学习率太小会导致收敛缓慢（如下图左），太大又容易在最优解附近震荡甚至发散（如下图右）。更糟的是，随着训练进行，最优学习率其实会动态变化。

两种常用方法对比：

Z-score 标准化

def z_score_normalize(X):
    mu = np.mean(X, axis=0)
    sigma = np.std(X, axis=0)
    return (X - mu) / sigma

适用场景：特征分布近似高斯分布时

Min-Max 归一化
```
def minmax_scale(X):
    return (X - np.min(X)) / (np.max(X) - np.min(X))
```
适用场景 ：需要严格限定到[0,1] 区间时（如像素值）

余弦衰减策略 效果显著：

def cosine_decay(initial_lr, global_step, decay_steps):
    return initial_lr * 0.5 * (1 + np.cos(np.pi * global_step / decay_steps))

实际使用时配合 warmup 效果更好：

前 1000 步线性增加学习率
后续步数按余弦衰减

import numpy as np
import matplotlib.pyplot as plt

# 生成模拟数据
np.random.seed(42)
X = np.random.rand(1000, 2) * [10, 0.1]  # 故意制造尺度差异
y = X @ np.array([1.5, 3]) + np.random.normal(0, 0.5, 1000)

# 特征标准化
X_normalized = z_score_normalize(X)

# 梯度下降实现
def batch_gradient_descent(X, y, lr=0.1, epochs=100):
    theta = np.zeros(X.shape[1])
    losses = []

    for epoch in range(epochs):
        # 动态调整学习率
        current_lr = cosine_decay(lr, epoch, epochs)

        # 向量化计算梯度
        gradient = X.T @ (X @ theta - y) / len(y)
        theta -= current_lr * gradient

        # 记录损失
        loss = np.mean((X @ theta - y)**2)
        losses.append(loss)

    return theta, losses

# 训练并可视化
theta, losses = batch_gradient_descent(X_normalized, y)
plt.plot(losses)
plt.title('Loss Curve with Feature Scaling')
plt.show()

特征缩放与正则化：一定要先缩放再添加 L2 正则项，否则正则化会对不同尺度特征施加不公平的惩罚
学习率与批量大小：当增大 batch size 时，可以近似线性增大学习率（但建议不超过原始学习率的 4 倍）
梯度问题识别：如果发现损失值出现 NaN，可以打印梯度范式：
```
print(np.linalg.norm(gradient))
```
正常情况下应在 1e3 以内