机器学习基础：过拟合与欠拟合的识别与解决方法实战

1次阅读

共计 1945 个字符，预计需要花费 5 分钟才能阅读完成。

当模型在训练集上表现优异（如准确率 98%），但在测试集上表现显著下降（如准确率 60%）时，称为过拟合。本质是模型过度记忆了训练数据中的噪声和局部特征，导致泛化能力差。典型场景：

模型参数量远大于训练样本数
训练迭代轮数（Epoch）过多

模型在训练集和测试集上表现均不佳（如训练准确率 50%），说明未能学习到数据的基本规律。常见原因：

模型复杂度不足（如用线性模型拟合非线性数据）
特征工程不充分

方法	L1 正则化（Lasso）	L2 正则化（Ridge）
数学形式	损失函数 + λ∑	w
作用效果	产生稀疏权重，自动特征选择	平滑权重分布，抑制极端值
适用场景	高维特征且存在大量冗余特征	特征间存在共线性时

模型类型	单层感知机	深度神经网络
参数量	输入维度 × 输出维度	多层隐藏层，参数量指数级增长
拟合能力	只能拟合线性决策边界	可逼近任意连续函数

import torch
import torch.nn as nn

# 带 L2 正则化和 Dropout 的神经网络
class RegularizedNN(nn.Module):
    def __init__(self, input_dim):
        super().__init__()
        self.layers = nn.Sequential(nn.Linear(input_dim, 128),  # [batch, input_dim] → [batch, 128]
            nn.ReLU(),
            nn.Dropout(0.5),  # Dropout 随机失活 50% 神经元
            nn.Linear(128, 64),
            nn.ReLU(),
            nn.Linear(64, 1)
        )

    def forward(self, x):
        return self.layers(x)

# L2 正则化实现（权重衰减）model = RegularizedNN(input_dim=10)
optimizer = torch.optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-4)  # weight_decay 即 L2 系数

# 增加网络深度的解决方案
class DeepNN(nn.Module):
    def __init__(self, input_dim):
        super().__init__()
        self.deep_layers = nn.Sequential(nn.Linear(input_dim, 256),  # 扩展第一层神经元数量
            nn.ReLU(),
            nn.Linear(256, 128),       # 新增隐藏层
            nn.ReLU(),
            nn.Linear(128, 64),
            nn.ReLU(),
            nn.Linear(64, 1)
        )

    def forward(self, x):
        return self.deep_layers(x)

for epoch in range(100):
    model.train()
    for X, y in train_loader:
        optimizer.zero_grad()
        pred = model(X)
        loss = F.mse_loss(pred, y)
        loss.backward()
        optimizer.step()

    # 验证集评估
    model.eval()
    with torch.no_grad():
        val_pred = model(val_X)
        val_loss = F.mse_loss(val_pred, val_y)
    print(f"Epoch {epoch}: Train Loss {loss.item():.4f} | Val Loss {val_loss.item():.4f}")