BP神经网络过拟合判断实战指南：从原理到Python实现

1次阅读

共计 2494 个字符，预计需要花费 7 分钟才能阅读完成。

过拟合是指模型在训练集上表现优异，但在新数据（验证集 / 测试集）上表现显著下降的现象。这就像学生死记硬背了所有习题答案（训练集），但遇到新题型（测试集）就不会解答。过拟合会导致模型失去泛化能力，实际应用中预测结果不可靠。

最直观的方法是观察训练过程中两个指标的变化：

理想情况 ：训练损失和验证损失同步下降，最终稳定在相近水平
过拟合标志 ：训练损失持续下降，但验证损失在某个点后开始上升

通过 Matplotlib 绘制曲线时，建议添加以下标记：

plt.plot(history.history['loss'], label='Train Loss')
plt.plot(history.history['val_loss'], label='Validation Loss')
plt.xlabel('Epochs')
plt.ylabel('Loss Value')
plt.legend()

过拟合时权重值往往呈现极端分布：

正常模型的权重分布：近似高斯分布，多数权重值集中在零附近
过拟合模型的权重分布：出现异常大的正负权重值

用以下代码生成权重直方图：

weights = model.layers[1].get_weights()[0].flatten()
plt.hist(weights, bins=50)
plt.xlabel('Weight Value')
plt.ylabel('Frequency')

通过改变训练数据量绘制准确率曲线：

准备不同规模的训练子集（如 20%、40%、…100% 数据）
在每个子集上训练相同结构的模型
记录验证集准确率

过拟合模型的特点是：小数据量时表现差，随着数据量增加验证准确率提升缓慢。

添加 L2 正则化后观察指标变化：

from tensorflow.keras import regularizers

model.add(Dense(64, activation='relu', 
                kernel_regularizer=regularizers.l2(0.01)))

有效缓解过拟合时，验证集指标应有明显改善。

import tensorflow as tf
from tensorflow.keras.datasets import mnist
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout
from tensorflow.keras.callbacks import EarlyStopping

# 数据加载与预处理
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train = x_train.reshape(-1, 784).astype('float32') / 255
x_test = x_test.reshape(-1, 784).astype('float32') / 255

# 构建模型
model = Sequential([Dense(512, activation='relu', input_shape=(784,)),
    Dropout(0.5),
    Dense(256, activation='relu'),
    Dense(10, activation='softmax')
])

# 编译模型
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

# 设置早停回调
early_stop = EarlyStopping(
    monitor='val_loss',
    patience=5,
    restore_best_weights=True
)

# 训练模型
history = model.fit(
    x_train, y_train,
    validation_split=0.2,
    epochs=100,
    batch_size=128,
    callbacks=[early_stop],
    verbose=1
)

import matplotlib.pyplot as plt

# 绘制损失曲线
plt.figure(figsize=(12, 4))
plt.subplot(1, 2, 1)
plt.plot(history.history['loss'], label='Train Loss')
plt.plot(history.history['val_loss'], label='Validation Loss')
plt.legend()

# 绘制准确率曲线
plt.subplot(1, 2, 2)
plt.plot(history.history['accuracy'], label='Train Acc')
plt.plot(history.history['val_accuracy'], label='Validation Acc')
plt.legend()
plt.show()