神经网络过拟合防治指南：从正则化到Dropout的实战解析

1次阅读

没有评论

共计 2112 个字符，预计需要花费 6 分钟才能阅读完成。

过拟合是指模型在训练集上表现优异，但在测试集或新数据上表现显著下降的现象。想象一下学生死记硬背考题却不理解知识点——考试换题就束手无策了。具体表现包括：

训练损失持续下降，验证损失却开始上升
模型对训练数据的预测准确率异常高（如 99%+）
测试集准确率与训练集差距超过 15%

过拟合的危害不仅仅是性能下降，还会导致：

浪费计算资源训练无效模型
部署后产生误导性预测结果
难以判断模型是否真正学习到规律

L1 和 L2 正则化通过在损失函数中添加惩罚项来限制权重增长：

L1 正则化 （Lasso 回归）
公式：损失函数 + λΣ|w|
特点：会产生稀疏权重，适合特征选择
实现：optimizer = torch.optim.Adam(model.parameters(), weight_decay=1e-4)
L2 正则化 （岭回归）
公式：损失函数 + λΣw²
特点：平滑权重分布，更通用
实现：tf.keras.regularizers.l2(0.01)

训练时以概率 p 临时丢弃神经元，迫使网络不依赖特定节点：

前向传播时随机屏蔽部分神经元
测试时使用所有神经元，但权重乘以 p
典型丢弃率：输入层 0.1-0.3，隐藏层 0.5-0.8

PyTorch 实现示例：

self.drop = nn.Dropout(p=0.5)  # 定义丢弃层

def forward(self, x):
    x = self.drop(F.relu(self.fc1(x)))  # 应用丢弃

监控验证集表现，当连续 N 轮无改进时终止训练：

关键参数：patience（容忍轮数）
最佳实践：保存验证损失最低时的模型权重
注意事项：需划分独立的验证集

Keras 回调实现：

es = EarlyStopping(
    monitor='val_loss', 
    patience=10,
    restore_best_weights=True
)
model.fit(..., callbacks=[es])

对训练数据进行变换扩充，尤其适合图像领域：

基础操作：旋转 / 翻转 / 裁剪 / 加噪
进阶技巧：MixUp、CutMix 等混合样本
文本领域：同义词替换、回译

图像增强示例（TorchVision）：

transform = transforms.Compose([transforms.RandomHorizontalFlip(),
    transforms.RandomRotation(15),
    transforms.ColorJitter(brightness=0.2)
])

import torch.nn as nn

class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(784, 512)
        self.fc2 = nn.Linear(512, 10)
        self.drop = nn.Dropout(0.5)

    def forward(self, x):
        x = F.relu(self.fc1(x))
        x = self.drop(x)  # 应用 Dropout
        return self.fc2(x)

# 训练配置
model = Net()
optimizer = torch.optim.Adam(model.parameters(), 
    lr=0.001,
    weight_decay=1e-5  # L2 正则化
)

# 早停法实现
best_val_loss = float('inf')
patience = 5
counter = 0

for epoch in range(100):
    # ... 训练过程...
    val_loss = validate(model)

    if val_loss < best_val_loss:
        best_val_loss = val_loss
        counter = 0
        torch.save(model.state_dict(), 'best_model.pt')
    else:
        counter += 1
        if counter >= patience:
            break