CNN模型准确率99%？警惕过拟合陷阱与实战解决方案

1次阅读

共计 1510 个字符，预计需要花费 4 分钟才能阅读完成。

最近训练了一个 CNN 模型，在训练集上轻松达到了 99% 的准确率，正当我准备庆祝时，同事提醒说这可能是过拟合的信号。果然，测试集上的表现只有 70% 左右。这种高训练准确率、低测试准确率的情况，在深度学习项目中其实很常见，主要原因包括：

数据泄漏 ：测试集数据可能以某种形式混入了训练集
特征冗余 ：模型可能记住了训练数据的噪声而非真实模式
模型复杂度过高 ：层数或神经元数量远超问题需求

L1/L2 正则化通过在损失函数中添加权重惩罚项，防止某些特征权重过大。在 Keras 中，可以这样为卷积层添加 L2 正则化：

from tensorflow.keras import regularizers

model.add(Conv2D(64, (3,3), 
          kernel_regularizer=regularizers.l2(0.01), 
          activation='relu'))

L1 正则化会产生稀疏权重，适合特征选择
L2 正则化会使权重均匀减小，更常用

Dropout 层在训练时随机丢弃部分神经元，防止过度依赖特定特征。放置策略建议：

在全连接层前使用，丢弃率通常设 0.2-0.5
避免在靠近输入的层使用过高丢弃率

model.add(Dropout(0.3))  # 30% 的神经元会被随机丢弃

Albumentations 库提供了高效的图像增强方法，比 Keras 内置的 ImageDataGenerator 更快：

import albumentations as A

transform = A.Compose([A.RandomRotate90(),
    A.Flip(),
    A.RandomBrightnessContrast(p=0.5),
    A.GaussNoise(var_limit=(10.0, 50.0))
])

当验证损失不再改善时自动停止训练：

from tensorflow.keras.callbacks import EarlyStopping

es = EarlyStopping(
    monitor='val_loss', 
    patience=5,  # 容忍 5 轮不改善
    restore_best_weights=True  # 恢复最佳权重
)

history = model.fit(
    train_images, train_labels,
    validation_data=(val_images, val_labels),
    callbacks=[es],
    epochs=50
)

绘制训练 / 验证曲线对比：

import matplotlib.pyplot as plt

plt.plot(history.history['accuracy'], label='Train Acc')
plt.plot(history.history['val_accuracy'], label='Val Acc')
plt.legend()
plt.show()