神经网络训练中的过拟合与欠拟合：从损失函数变化看模型诊断

1次阅读

共计 2285 个字符，预计需要花费 6 分钟才能阅读完成。

在神经网络训练过程中，过拟合（Overfitting）和欠拟合（Underfitting）是最常见的问题之一。过拟合是指模型在训练集上表现很好，但在验证集或测试集上表现较差，通常是因为模型过于复杂，记住了训练数据的噪声而非学习其规律。欠拟合则是模型在训练集和验证集上表现都不佳，通常是因为模型过于简单，无法捕捉数据的复杂特征。

为什么需要关注训练集和验证集的损失函数变化？因为损失函数的变化曲线可以直观地反映模型的训练状态。通过分析两者的变化趋势，我们可以快速诊断模型是否过拟合或欠拟合，并采取相应的调整措施。

理想情况下，训练集和验证集的损失函数都会随着训练轮次的增加而逐渐下降，并最终趋于稳定。两者的损失值接近，且验证集的损失略高于训练集。这种状态表明模型既没有过拟合也没有欠拟合，具有良好的泛化能力。

过拟合的典型特征是训练集的损失持续下降，而验证集的损失在某一轮次后开始上升。这意味着模型在训练集上表现越来越好，但在验证集上表现变差，说明模型正在“记住”训练数据的噪声。

欠拟合的表现是训练集和验证集的损失都较高，且两者的差距较小。这意味着模型无法很好地拟合训练数据，更不用说泛化到验证集了。

数据增强是通过对训练数据进行变换（如旋转、翻转、裁剪等）来增加数据的多样性，从而减少过拟合。例如，在图像分类任务中，可以通过随机旋转、平移或调整亮度来生成更多的训练样本。

L1/L2 正则化 ：通过在损失函数中添加权重参数的 L1 或 L2 范数惩罚项，限制模型参数的大小，防止模型过于复杂。
Dropout：在训练过程中随机“丢弃”一部分神经元，强制模型不依赖于特定的神经元，从而减少过拟合。

如果模型过拟合，可以尝试减少模型的层数或每层的神经元数量；如果模型欠拟合，可以增加模型的复杂度。

早停法是在验证集损失开始上升时停止训练，防止模型继续过拟合。可以通过设置一个“耐心”参数（如连续几轮验证集损失不下降就停止）来实现。

以下是一个用 PyTorch 实现的简单神经网络训练过程，包含损失曲线的绘制和 L2 正则化的示例：

import torch
import torch.nn as nn
import torch.optim as optim
import matplotlib.pyplot as plt

# 定义模型
class SimpleNN(nn.Module):
    def __init__(self):
        super(SimpleNN, self).__init__()
        self.fc1 = nn.Linear(10, 5)
        self.fc2 = nn.Linear(5, 1)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        return x

# 初始化模型和优化器
model = SimpleNN()
optimizer = optim.Adam(model.parameters(), lr=0.01, weight_decay=1e-5)  # L2 正则化
criterion = nn.MSELoss()

# 模拟训练数据和验证数据
train_losses = []
val_losses = []

for epoch in range(100):
    # 训练阶段
    model.train()
    optimizer.zero_grad()
    outputs = model(torch.randn(32, 10))  # 模拟输入数据
    loss = criterion(outputs, torch.randn(32, 1))  # 模拟标签
    loss.backward()
    optimizer.step()
    train_losses.append(loss.item())

    # 验证阶段
    model.eval()
    with torch.no_grad():
        val_loss = criterion(model(torch.randn(32, 10)), torch.randn(32, 1))
        val_losses.append(val_loss.item())

# 绘制损失曲线
plt.plot(train_losses, label='Training Loss')
plt.plot(val_losses, label='Validation Loss')
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.legend()
plt.show()