机器学习实战：如何识别与解决过拟合与欠拟合问题

1次阅读

没有评论

共计 2374 个字符，预计需要花费 6 分钟才能阅读完成。

在机器学习项目中，过拟合和欠拟合是最常遇到的两种模型性能问题。它们直接影响模型在训练集和测试集上的表现。今天我们就来深入探讨这两个现象，以及如何有效解决它们。

想象一下，你在教一个小孩子认识动物。如果只给他看一种狗的图片，他可能会认为所有四条腿的动物都是狗（欠拟合）。相反，如果给他看太多特定品种的狗，他可能会记住每张图片的细节，却无法识别其他品种的狗（过拟合）。

在机器学习中：

欠拟合：模型过于简单，无法捕捉数据中的基本模式。表现为：
训练集上表现差
测试集上表现同样差
高偏差(High Bias)
过拟合：模型过于复杂，记住了训练数据的噪声和细节。表现为：
训练集上表现非常好
测试集上表现明显下降
高方差(High Variance)

学习曲线展示了模型在训练集和验证集上的性能随训练样本数量增加的变化：

欠拟合的曲线特征：
训练和验证误差都很高
增加数据量不会显著改善性能
过拟合的曲线特征：
训练误差低，验证误差高
两者之间存在明显差距

验证曲线展示了模型性能随某个超参数（如模型复杂度）变化的趋势：

欠拟合区域：
模型过于简单
训练和验证分数都低
最佳拟合区域：
训练和验证分数都较高
两者接近
过拟合区域：
训练分数高但验证分数下降
两者差距增大

L1/L2 正则化的数学原理

L1 正则化（Lasso 回归）通过在损失函数中添加权重绝对值的和，倾向于产生稀疏权重矩阵：

loss = original_loss + λ * sum(|w|)

L2 正则化（Ridge 回归）添加权重平方的和，使权重趋于更小的值：

loss = original_loss + λ * sum(w^2)

PyTorch 实现代码

import torch
import torch.nn as nn

# 定义一个简单的线性模型
model = nn.Linear(10, 1)

# 定义损失函数
criterion = nn.MSELoss()

# 定义优化器，并添加 L2 正则化
optimizer = torch.optim.SGD([{'params': model.weight, 'weight_decay': 0.01},  # L2 正则化系数
    {'params': model.bias, 'weight_decay': 0}        # 通常不对 bias 正则化
], lr=0.01)

# 训练循环
for epoch in range(100):
    optimizer.zero_grad()
    outputs = model(inputs)
    loss = criterion(outputs, labels)
    loss.backward()
    optimizer.step()

Dropout 技术

Dropout 在训练过程中随机 ” 丢弃 ” 一部分神经元，防止神经元过度依赖特定特征：

model = nn.Sequential(nn.Linear(784, 256),
    nn.ReLU(),
    nn.Dropout(0.5),  # 50% 的 dropout 率
    nn.Linear(256, 10)
)

增加模型复杂度：
使用更深的神经网络
增加每层的神经元数量
特征工程：
添加更多相关特征
创建多项式特征
使用领域知识构造新特征
减少正则化：
降低 L1/L2 正则化系数
减少 dropout 率

从小值开始（如 0.001）
使用网格搜索或随机搜索寻找最佳值
观察验证集性能的变化

from torch.utils.data import DataLoader, TensorDataset
from sklearn.model_selection import train_test_split

# 划分训练集和验证集
X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2)

train_dataset = TensorDataset(torch.Tensor(X_train), torch.Tensor(y_train))
val_dataset = TensorDataset(torch.Tensor(X_val), torch.Tensor(y_val))

# 设置早停参数
patience = 5  # 连续 5 轮验证损失不改善则停止
best_loss = float('inf')
counter = 0

for epoch in range(100):
    # 训练代码...

    # 验证
    with torch.no_grad():
        val_loss = criterion(model(X_val), y_val)

    if val_loss < best_loss:
        best_loss = val_loss
        counter = 0
        # 保存最佳模型
        torch.save(model.state_dict(), 'best_model.pt')
    else:
        counter += 1
        if counter >= patience:
            print(f'Early stopping at epoch {epoch}')
            break