神经网络过拟合实战指南：从原理到解决方案

1次阅读

没有评论

共计 1917 个字符，预计需要花费 5 分钟才能阅读完成。

过拟合是机器学习中一个常见的问题，指的是模型在训练数据上表现很好，但在新数据（测试数据）上表现不佳。简单来说，就是模型 ” 记住了 ” 训练数据，而没有真正学会泛化的规律。

训练集准确率很高，但验证集 / 测试集准确率明显下降
模型对训练数据中的噪声或异常值过度敏感
在训练后期，验证集指标开始恶化而训练集指标继续提升

过拟合会严重影响模型的实用价值，导致：

模型在实际应用中表现远低于预期
浪费计算资源和训练时间
可能做出错误的预测或决策

正则化通过在损失函数中添加惩罚项来限制模型参数的大小：

L1 正则化（Lasso）：倾向于产生稀疏权重矩阵
L2 正则化（Ridge）：使权重趋向于较小值但不为零

Dropout 是一种在训练过程中随机 ” 关闭 ” 部分神经元的技术：

每次训练迭代随机丢弃一定比例的神经元
迫使网络不依赖任何单个神经元
测试时使用全部神经元，但权重按保留比例缩放

通过对训练数据进行各种变换来 ” 扩充 ” 数据集：

图像：旋转、翻转、裁剪、颜色变换等
文本：同义词替换、随机插入 / 删除等
数值数据：添加噪声、时间序列扭曲等

监控验证集性能，在开始恶化时停止训练：

简单有效
需要合理设置耐心参数

import tensorflow as tf
from tensorflow.keras import regularizers

model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation='relu', 
                         kernel_regularizer=regularizers.l2(0.01)),
    tf.keras.layers.Dense(10, activation='softmax')
])

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

history = model.fit(train_images, train_labels, 
                    epochs=10, 
                    validation_data=(test_images, test_labels))

import torch
import torch.nn as nn

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(784, 512)
        self.fc2 = nn.Linear(512, 10)
        self.dropout = nn.Dropout(0.5)  # 50% dropout

    def forward(self, x):
        x = x.view(-1, 784)
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)
        x = self.fc2(x)
        return x

model = Net()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters())

# 训练时启用 dropout
model.train()
for epoch in range(10):
    # 训练代码...
    pass

# 测试时关闭 dropout
model.eval()
with torch.no_grad():
    # 测试代码...
    pass

在 MNIST 数据集上的对比实验（准确率 %）：