神经网络训练中的损失函数变化：过拟合与欠拟合的识别与应对

1次阅读

没有评论

共计 2105 个字符，预计需要花费 6 分钟才能阅读完成。

在神经网络训练过程中，损失函数是衡量模型预测与真实值差异的关键指标。理想的训练过程应呈现以下特征：

训练初期：训练集和验证集损失均快速下降，表明模型正在学习数据的基本模式
训练中期：损失下降速度减缓，两条曲线开始出现小幅分离
训练后期：训练损失持续缓慢下降，验证损失趋于稳定

这种变化表明模型既学到了有效的特征表示，又保持了良好的泛化能力。

训练损失持续下降至极低值
验证损失在达到最低点后开始回升
两条曲线间的差距不断增大

这种现象说明模型开始记忆训练数据中的噪声和特定样本特征，而非学习通用规律。

训练损失始终维持在较高水平
验证损失与训练损失基本平行且接近
两条曲线都未能达到令人满意的低点

这表明模型复杂度不足或训练不充分，未能捕捉数据中的关键模式。

import matplotlib.pyplot as plt

train_losses = []
val_losses = []

for epoch in range(epochs):
    model.train()
    epoch_train_loss = 0
    for data, target in train_loader:
        optimizer.zero_grad()
        output = model(data)
        loss = criterion(output, target)
        loss.backward()
        optimizer.step()
        epoch_train_loss += loss.item()

    model.eval()
    epoch_val_loss = 0
    with torch.no_grad():
        for data, target in val_loader:
            output = model(data)
            epoch_val_loss += criterion(output, target).item()

    train_losses.append(epoch_train_loss/len(train_loader))
    val_losses.append(epoch_val_loss/len(val_loader))

    # 实时绘制曲线
    plt.plot(train_losses, label='Train')
    plt.plot(val_losses, label='Validation')
    plt.legend()
    plt.pause(0.01)

optimizer = torch.optim.Adam(model.parameters(), 
                           lr=0.001, 
                           weight_decay=1e-5)  # L2 系数

class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(784, 512)
        self.dropout = nn.Dropout(0.5)  # 丢弃概率 50%
        self.fc2 = nn.Linear(512, 10)

    def forward(self, x):
        x = F.relu(self.fc1(x))
        x = self.dropout(x)
        return self.fc2(x)

best_val_loss = float('inf')
patience = 5
counter = 0

for epoch in range(epochs):
    # ... 训练和验证代码...

    if val_losses[-1] < best_val_loss:
        best_val_loss = val_losses[-1]
        torch.save(model.state_dict(), 'best_model.pt')
        counter = 0
    else:
        counter += 1
        if counter >= patience:
            print(f'Early stopping at epoch {epoch}')
            break