BP神经网络过拟合判断实战指南：从原理到Python实现

1次阅读

共计 2665 个字符，预计需要花费 7 分钟才能阅读完成。

过拟合就像学生死记硬背考题却不会举一反三——模型在训练集上表现完美（损失值低、准确率高），但在新数据上预测能力骤降。这种现象会直接导致模型失去实用价值，是机器学习项目失败的常见原因之一。

最直观的判断方式是观察两条曲线：

健康模型：两条损失曲线同步下降后趋于稳定，准确率曲线同步上升
过拟合模型：训练损失持续下降但验证损失中途反弹，训练准确率持续升高但验证准确率停滞

通过 Matplotlib 可以清晰呈现这个关键差异：

plt.figure(figsize=(12,4))
plt.subplot(1,2,1)
plt.plot(history.history['loss'], label='Train Loss')
plt.plot(history.history['val_loss'], label='Val Loss')
plt.legend()

plt.subplot(1,2,2)
plt.plot(history.history['accuracy'], label='Train Acc')
plt.plot(history.history['val_accuracy'], label='Val Acc')
plt.legend()
plt.show()

过拟合模型的权重往往呈现极端分布：

正常模型：权重值呈近似高斯分布，多数集中在零附近
过拟合模型：出现异常大的正 / 负权重值，分布范围明显更广

用以下代码生成权重直方图：

layer = model.layers[1]  # 以第一个隐藏层为例
weights = layer.get_weights()[0].flatten()
plt.hist(weights, bins=50)
plt.xlabel('Weight Value')
plt.ylabel('Frequency')
plt.title('Weight Distribution')
plt.show()

通过改变训练数据量观察模型表现：

欠拟合：增加数据对验证集指标提升有限
合适拟合：验证指标随数据量增加持续改善
过拟合：训练指标始终高于验证指标且差距明显

实现代码示例：

train_sizes, train_scores, val_scores = [], [], []
for size in [1000, 5000, 20000, 60000]:
    model.fit(x_train[:size], y_train[:size], 
              validation_data=(x_val, y_val),
              epochs=10, verbose=0)
    train_scores.append(model.evaluate(x_train[:size], y_train[:size], verbose=0)[1])
    val_scores.append(model.evaluate(x_val, y_val, verbose=0)[1])
    train_sizes.append(size)

引入 L2 正则化或 Dropout 后：

过拟合改善：验证准确率提升且与训练准确率差距缩小
无效情况：指标无明显变化（可能需要调整正则化强度）

import tensorflow as tf
from tensorflow.keras import layers, callbacks

# 数据准备
(x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data()
x_train = x_train.reshape(-1, 784).astype('float32') / 255.0
x_val, x_test = x_test[:5000], x_test[5000:]
y_val, y_test = y_test[:5000], y_test[5000:]

# 模型定义
model = tf.keras.Sequential([layers.Dense(512, activation='relu', input_shape=(784,)),
    layers.Dense(256, activation='relu'),
    layers.Dense(10, activation='softmax')
])

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

# 早停法实现
es = callbacks.EarlyStopping(
    monitor='val_loss', 
    patience=5, 
    restore_best_weights=True)

history = model.fit(x_train, y_train,
                    batch_size=128,
                    epochs=100,
                    validation_data=(x_val, y_val),
                    callbacks=[es],
                    verbose=1)

model_dropout = tf.keras.Sequential([layers.Dense(512, activation='relu', input_shape=(784,)),
    layers.Dropout(0.5),
    layers.Dense(256, activation='relu'),
    layers.Dropout(0.3),
    layers.Dense(10, activation='softmax')
])