机器学习入门：如何识别与缓解过拟合与欠拟合问题

1次阅读

共计 1464 个字符，预计需要花费 4 分钟才能阅读完成。

在机器学习中，模型拟合问题是影响预测性能的核心挑战之一。过拟合（Overfitting）和欠拟合（Underfitting）如同走钢丝时的两种失衡状态——要么因过度关注训练细节而失去泛化能力，要么因模型过于简单而无法捕捉数据规律。理解这两种现象的本质，是构建稳健模型的第一步。

想象教孩子识别动物：
– 欠拟合（高偏差）如同只告诉孩子 ” 有毛的是狗 ”，导致把猫也误认为狗（模型过于简单，$J_{train}$ 和 $J_{val}$ 都高）
– 过拟合（高方差）则像让孩子记住每只狗的毛色花纹，遇到新狗时反而无法识别（模型复杂度过高，$J_{train} \ll J_{val}$）

数学表达式：
– 欠拟合：$J_{train}(\theta) \approx J_{val}(\theta)$ 且两者均较大
– 过拟合：$J_{train}(\theta) \ll J_{val}(\theta)$

典型的学习曲线会呈现：
1. 欠拟合区域：训练和验证 loss 平行且高位运行
2. 健康拟合区域：两条曲线收敛于较低位置
3. 过拟合区域：训练 loss 持续下降而验证 loss 开始上升

# 交叉验证示例（Scikit-learn）from sklearn.model_selection import KFold
kf = KFold(n_splits=5)
for train_idx, val_idx in kf.split(X):
    X_train, X_val = X[train_idx], X[val_idx]
    y_train, y_val = y[train_idx], y[val_idx]
    # 训练和验证流程...

# 数据增强（TensorFlow/Keras）from tensorflow.keras.preprocessing.image import ImageDataGenerator
datagen = ImageDataGenerator(
    rotation_range=20,
    width_shift_range=0.1,
    horizontal_flip=True)

# L2 正则化（权重衰减）from tensorflow.keras import regularizers
model.add(Dense(64, activation='relu', 
                kernel_regularizer=regularizers.l2(0.01)))

# Dropout 层（丢弃法）model.add(Dropout(0.5))  # 随机丢弃 50% 神经元