机器学习实战：防止模型过拟合的3种核心方案与避坑指南

1次阅读

共计 1249 个字符，预计需要花费 4 分钟才能阅读完成。

过拟合就像学生死记硬背考试题却不会举一反三——模型在训练集上表现完美（比如准确率 99%），但在新数据上表现糟糕。这通常因为模型过度记忆了训练数据的噪声和细节，而非学习通用规律。

通过人工扩展训练数据集，让模型看到更多数据变体。比如对图片进行旋转、裁剪，对文本进行同义词替换，既增加数据多样性又保留原始标签含义。

数据量不足时（尤其图像分类任务）
模型开始记忆特定样本特征时

from torchvision import transforms

# 定义增强管道
train_transform = transforms.Compose([transforms.RandomHorizontalFlip(),  # 50% 概率水平翻转
    transforms.RandomRotation(15),     # 随机旋转±15 度
    transforms.ColorJitter(brightness=0.2),  # 亮度变化
    transforms.ToTensor()])

通过在损失函数中增加权重惩罚项：
– L1（Lasso 回归）：促进稀疏权重，适合特征选择
– L2（岭回归）：限制权重幅度，适合通用场景

特征数量远大于样本量时
需要控制模型复杂度时

import torch.nn as nn

# L2 正则化（权重衰减）model = nn.Sequential(nn.Linear(100, 50),
    nn.ReLU(),
    nn.Linear(50, 10)
)
optimizer = torch.optim.Adam(model.parameters(), lr=0.001, weight_decay=0.01)  # weight_decay 即 λ 系数

监控验证集指标，当连续 N 轮（patience）没有改进时停止训练。需注意：
（横轴 epoch，纵轴 loss，验证集曲线开始上升时停止）

训练时间长的深度模型
难以确定合适 epoch 数时

from pytorchtools import EarlyStopping

es = EarlyStopping(patience=5, verbose=True)

for epoch in range(100):
    val_loss = validate(model)
    es(val_loss, model)
    if es.early_stop:
        print("早停触发")
        break