深度学习中的过拟合问题：原理分析与7种实战解决方案

1次阅读

没有评论

共计 1346 个字符，预计需要花费 4 分钟才能阅读完成。

过拟合现象可通过训练误差和验证误差的对比来判定。设训练损失为 $L_{train}$，验证损失为 $L_{val}$，当满足以下条件时判定为过拟合：

$$ L_{train} \ll L_{val} $$

且两者的差值持续增大。典型表现为训练准确率持续上升时，验证准确率开始下降。

在前向传播时以概率 $p$ 随机丢弃神经元
PyTorch 实现只需在网络中添加 nn.Dropout(p=0.5) 层
效果上等价于训练时对多个子网络进行集成

L2 正则化（权重衰减）：$L = L_0 + \lambda\sum w_i^2$
L1 正则化：$L = L_0 + \lambda\sum |w_i|$
关键差异：L1 会产生稀疏权重，L2 使权重均匀减小

当验证损失连续 $N$ 个 epoch 不下降时终止训练
典型阈值设置：$N=10$（需根据数据集调整）
需注意验证集比例建议保持在 20%-30%

图像数据常用增强组合：
随机水平翻转
色彩抖动（亮度 / 对比度调整）
随机裁剪（需保持主体完整性）
过度增强会导致语义失真

通过标准化每层的输入分布来稳定训练
计算公式：$\hat{x} = \frac{x – E[x]}{\sqrt{Var[x] + \epsilon}}$
允许使用更大的学习率

Bagging：并行训练多个模型（如随机森林）
Boosting：序列化训练（如 AdaBoost）
深度学习常用 Snapshot Ensemble 等变体

冻结预训练网络的特征提取层
仅微调最后的全连接层
适合小样本场景

import torch.nn as nn

class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(784, 512)
        self.dropout = nn.Dropout(0.5)  # Dropout 层
        self.fc2 = nn.Linear(512, 10)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)  # 应用 Dropout
        return self.fc2(x)

# 带 L2 正则化的优化器
optimizer = torch.optim.Adam(model.parameters(), 
    lr=0.001,
    weight_decay=1e-4  # L2 系数
)