深度学习优化实战：如何在Adam优化器中添加正则项防止过拟合

1次阅读

没有评论

共计 1962 个字符，预计需要花费 5 分钟才能阅读完成。

在深度学习模型训练中，过拟合是指模型在训练集上表现很好，但在验证集或测试集上表现较差的现象。这通常发生在模型过于复杂或训练数据不足的情况下。过拟合的危害包括：

模型泛化能力差，无法适应新数据
在实际应用中表现不稳定
浪费计算资源训练出无效模型

Adam 优化器由于其自适应学习率的特性被广泛使用，但它本身并不包含正则化功能。因此，我们需要手动添加正则项来约束模型参数，防止过拟合。

手动添加 ：灵活性高，可以自由选择正则化方式和系数，适用于复杂模型
优化器内置 ：如 SGD 中的 weight decay，实现简单但功能有限

L1 正则（Lasso）：
特点：产生稀疏解，适合特征选择
公式：λ∑|w|
L2 正则（Ridge）：
特点：平滑权重分布，防止极端值
公式：λ/2∑w²
Elastic Net：
特点：L1 和 L2 的组合，平衡稀疏和平滑
公式：λ1∑|w| + λ2/2∑w²

import tensorflow as tf

# 定义模型
model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation='relu', 
                         kernel_regularizer=tf.keras.regularizers.l2(0.01)),
    tf.keras.layers.Dense(10)
])

# 使用 Adam 优化器
optimizer = tf.keras.optimizers.Adam(learning_rate=0.001)

# 训练步骤
@tf.function
def train_step(x, y):
    with tf.GradientTape() as tape:
        predictions = model(x)
        # 计算损失（包含正则项）loss = loss_object(y, predictions) + tf.reduce_sum(model.losses)
    gradients = tape.gradient(loss, model.trainable_variables)
    optimizer.apply_gradients(zip(gradients, model.trainable_variables))
    return loss

import torch
import torch.nn as nn

# 定义模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(784, 64)
        self.fc2 = nn.Linear(64, 10)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        return self.fc2(x)

model = Net()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

# 训练步骤
def train_step(x, y):
    optimizer.zero_grad()
    outputs = model(x)
    # 计算 L2 正则项
    l2_reg = torch.tensor(0.)
    for param in model.parameters():
        l2_reg += torch.norm(param, 2)
    loss = criterion(outputs, y) + 0.01 * l2_reg
    loss.backward()
    optimizer.step()
    return loss.item()

我们在一组图像分类任务上测试了添加 L2 正则项前后的效果：