神经网络过拟合防治全攻略：从正则化到早停法的工程实践

1次阅读

共计 2314 个字符，预计需要花费 6 分钟才能阅读完成。

当神经网络模型在训练集上表现优异而在测试集上表现糟糕时，我们就遇到了过拟合问题。这种现象的本质是模型过度记忆了训练数据的噪声和细节，导致泛化能力下降。在实际业务中，过拟合会直接影响模型在生产环境中的预测效果，造成决策失误或用户体验下降。

两种最常见的权重惩罚方法，通过在损失函数中添加额外项来约束参数：

L2 正则化 （权重衰减）
公式：$L_{new} = L_{original} + \frac{\lambda}{2}||w||^2_2$
特点：使权重趋向较小值但不强制稀疏

PyTorch 实现：

optimizer = torch.optim.Adam(model.parameters(), 
                            lr=0.001, 
                            weight_decay=0.01)  # λ=0.01

L1 正则化
公式：$L_{new} = L_{original} + \lambda||w||_1$
特点：能产生稀疏权重矩阵（部分参数归零）

需要手动实现：

l1_lambda = 0.001
l1_norm = sum(p.abs().sum() for p in model.parameters())
loss = criterion(outputs, labels) + l1_lambda * l1_norm

在训练时以概率 $p$ 随机关闭神经元（通常 $p=0.2-0.5$），测试时激活所有神经元但权重乘以 $1-p$。这种机制强制网络不依赖特定神经元，增强鲁棒性。

# 在 PyTorch 中的典型用法
dropout = nn.Dropout(p=0.3)  # 隐藏层推荐 30% 丢弃率

# 注意：训练和测试模式切换
model.train()  # 启用 dropout
model.eval()   # 关闭 dropout

几何变换：旋转（±15°）、平移（10%）、缩放（0.9-1.1 倍）
颜色扰动：亮度 / 对比度调整（±20%）、添加高斯噪声
高级技巧：MixUp、CutMix

# PyTorch 示例
transform = transforms.Compose([transforms.RandomHorizontalFlip(),
    transforms.RandomRotation(15),
    transforms.ColorJitter(brightness=0.2)
])

同义词替换（WordNet 或 BERT-based）
随机插入 / 删除 / 交换词语（5-10% 概率）
回译（通过多语言中间转换）

实现逻辑：

将数据集分为训练集（60%）、验证集（20%）、测试集（20%）
每 epoch 记录验证集 loss
当连续 N 次（patience=5）验证 loss 未下降时停止训练

best_loss = float('inf')
patience = 0
max_patience = 5

for epoch in range(100):
    # ... 训练代码...
    val_loss = validate(model, val_loader)

    if val_loss < best_loss:
        best_loss = val_loss
        patience = 0
        torch.save(model.state_dict(), 'best_model.pt')
    else:
        patience += 1
        if patience >= max_patience:
            print('Early stopping triggered')
            break

# 完整训练循环示例
model = MyNetwork()
optimizer = torch.optim.Adam(model.parameters(), 
                           lr=0.001,
                           weight_decay=0.001)  # L2 正则

criterion = nn.CrossEntropyLoss()
dropout = nn.Dropout(0.3)

for epoch in range(100):
    model.train()
    for x, y in train_loader:
        # 正向传播
        outputs = model(dropout(x))  # 应用 Dropout

        # L1 正则手动实现
        l1_loss = 0.001 * sum(p.abs().sum() 
                             for p in model.parameters())

        loss = criterion(outputs, y) + l1_loss

        # 反向传播
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

    # 早停法检查
    val_loss = validate(model, val_loader)
    # ... 早停逻辑...