CNN模型准确率99%？警惕过拟合陷阱与实战解决方案

1次阅读

没有评论

共计 2051 个字符，预计需要花费 6 分钟才能阅读完成。

最近在训练一个 CNN 模型时，发现训练集准确率轻松达到了 99%，但测试集表现却只有 70% 左右。这种训练集和测试集性能的巨大差异，就是典型的过拟合（Overfitting）现象。

过拟合的核心表现有：

训练集准确率极高（如 99%），但测试集准确率明显下降
模型对训练数据中的噪声和细节过度记忆
模型参数变得异常敏感，小的输入变化会导致输出剧烈波动
在未见过的数据上表现很差

通过对训练数据进行各种变换来 ” 制造 ” 更多样本：

随机旋转(Random Rotation)：图像随机旋转一定角度
水平 / 垂直翻转(Horizontal/Vertical Flip)
添加噪声(Add Noise)：如高斯噪声
亮度 / 对比度调整(Brightness/Contrast Adjustment)
随机裁剪(Random Crop)

Dropout(丢弃层)：训练时随机 ” 关闭 ” 一部分神经元
通常设置在 0.2-0.5 之间
可以有效防止神经元过度依赖特定特征
L2 正则化：对权重施加惩罚项
控制权重的大小
防止某些权重变得过大

将数据集分成 K 个等份
每次用 K - 1 份作为训练集，1 份作为验证集
重复 K 次，取平均性能
常见选择是 K = 5 或 K =10

import tensorflow as tf
from tensorflow.keras import layers, models

model = models.Sequential([layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
    layers.MaxPooling2D((2, 2)),
    layers.Dropout(0.25),  # 添加 25% 的 Dropout

    layers.Conv2D(64, (3, 3), activation='relu'),
    layers.MaxPooling2D((2, 2)),
    layers.Dropout(0.25),  # 添加 25% 的 Dropout

    layers.Flatten(),
    layers.Dense(64, activation='relu'),
    layers.Dropout(0.5),   # 全连接层使用更高的 Dropout 率
    layers.Dense(10, activation='softmax')
])

from tensorflow.keras.callbacks import EarlyStopping

es = EarlyStopping(
    monitor='val_loss',  # 监控验证集 loss
    patience=5,         # 连续 5 次不改善则停止
    restore_best_weights=True  # 恢复最佳权重
)

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

history = model.fit(
    train_images, train_labels,
    epochs=50,
    validation_data=(test_images, test_labels),
    callbacks=[es]  # 使用早停回调
)