深度学习实战：2000张图片训练300个epoch的过拟合问题分析与解决方案

1次阅读

没有评论

共计 1704 个字符，预计需要花费 5 分钟才能阅读完成。

过拟合是深度学习新手常遇到的问题，它指的是模型在训练数据上表现很好，但在未见过的测试数据上表现较差。简单来说，模型 ” 记住了 ” 训练数据的特点，而没有真正学会泛化的规律。

在小型数据集（如 2000 张图片）上，过拟合现象尤为明显。因为数据量有限，模型很容易找到一些特定于训练集的 ” 捷径 ” 来降低训练误差，但这些捷径对泛化毫无帮助。

为什么 2000 张图片训练 300 个 epoch 容易导致过拟合？

数据量相对不足 ：2000 张图片对于复杂的深度学习模型来说数据量偏小，特别是当图片类别较多时，每类可能只有几百张样本。
训练轮次过多 ：300 个 epoch 意味着模型会反复看到同样的图片，增加了 ” 记住 ” 训练数据的风险。
模型容量过大 ：新手常倾向于使用预训练的大型模型，这些模型参数量大，容易在小数据集上过拟合。

数据增强是最直接的解决方案，通过对训练图片进行各种变换来 ” 创造 ” 更多样的数据。

# PyTorch 数据增强示例
from torchvision import transforms

train_transform = transforms.Compose([transforms.RandomHorizontalFlip(),  # 随机水平翻转
    transforms.RandomRotation(15),     # 随机旋转±15 度
    transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2), # 颜色抖动
    transforms.RandomResizedCrop(224, scale=(0.8, 1.0)), # 随机裁剪并缩放到 224x224
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])

L1/L2 正则化 ：在损失函数中添加权重惩罚项

# PyTorch 中实现 L2 正则化
optimizer = torch.optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-4)  # weight_decay 就是 L2 正则化系数

Dropout：训练时随机丢弃部分神经元

# 在模型定义中添加 Dropout 层
self.dropout = nn.Dropout(0.5)  # 丢弃概率 0.5

监控验证集性能，当性能不再提升时停止训练。

best_val_loss = float('inf')
patience = 10  # 容忍连续 10 个 epoch 不提升
counter = 0

for epoch in range(300):
    # 训练和验证代码...

    if val_loss < best_val_loss:
        best_val_loss = val_loss
        counter = 0
        # 保存最佳模型
    else:
        counter += 1
        if counter >= patience:
            print("早停触发")
            break