机器学习模型诊断：过拟合与欠拟合现象在训练集与测试集的表现差异及解决方案

1次阅读

没有评论

共计 1801 个字符，预计需要花费 5 分钟才能阅读完成。

在机器学习中，过拟合和欠拟合是两种常见的模型性能问题。理解它们的定义和表现是模型优化的第一步。

欠拟合 ：模型无法捕捉数据中的基本模式，表现为在训练集和测试集上的性能都很差。这通常是因为模型太简单，或者特征工程不足。
过拟合 ：模型在训练集上表现很好，但在测试集上表现很差。这是因为模型过于复杂，学习了训练数据中的噪声和细节，而不是泛化模式。

训练集与测试集的损失曲线对比
欠拟合：训练集和测试集的损失都较高，且两者差距不大。
过拟合：训练集的损失很低，但测试集的损失很高，两者差距明显。
准确率曲线
欠拟合：训练集和测试集的准确率都较低。
过拟合：训练集的准确率很高，测试集的准确率较低。
学习曲线
欠拟合：随着训练样本增加，训练集和测试集的误差下降缓慢，且两者差距不大。
过拟合：训练误差迅速下降，测试误差下降缓慢或停滞，两者差距逐渐拉大。

正则化

L1 正则化（Lasso）：通过在损失函数中添加权重绝对值的和，促使部分权重变为 0。

import torch
import torch.nn as nn

model = nn.Linear(10, 1)
criterion = nn.MSELoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01, weight_decay=0.1)  # L2 正则化

L2 正则化（Ridge）：通过在损失函数中添加权重平方的和，限制权重的大小。
Dropout

在训练过程中随机丢弃一部分神经元，防止模型对某些特征过度依赖。

model = nn.Sequential(nn.Linear(10, 50),
    nn.ReLU(),
    nn.Dropout(0.5),  # 50% 的神经元被随机丢弃
    nn.Linear(50, 1)
)

数据增强

通过增加训练数据的多样性（如旋转、翻转图像），提高模型的泛化能力。

增加模型复杂度

使用更深的网络或更多的参数，提高模型的表达能力。

model = nn.Sequential(nn.Linear(10, 100),
    nn.ReLU(),
    nn.Linear(100, 1)
)

特征工程
添加更多特征。
使用多项式特征或交互特征。

import torch
import torch.nn as nn
import matplotlib.pyplot as plt

# 生成数据
X = torch.randn(100, 10)
y = torch.randn(100, 1)

# 定义模型（带 L2 正则化）model = nn.Linear(10, 1)
criterion = nn.MSELoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01, weight_decay=0.1)

# 训练
losses = []
for epoch in range(100):
    optimizer.zero_grad()
    outputs = model(X)
    loss = criterion(outputs, y)
    loss.backward()
    optimizer.step()
    losses.append(loss.item())

# 绘制损失曲线
plt.plot(losses)
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.title('Training Loss with L2 Regularization')
plt.show()