机器学习实战：如何诊断和解决过拟合与欠拟合问题

1次阅读

共计 1624 个字符，预计需要花费 5 分钟才能阅读完成。

过拟合 ：模型在训练集上表现优异（如准确率 95%），但在测试集上大幅下降（如 60%）。本质是模型过度记忆了训练数据的噪声和细节，导致泛化能力差。典型表现是训练损失持续下降而验证损失反弹。
欠拟合 ：模型在训练集和测试集上表现均不佳（如准确率均低于 50%）。本质是模型未能学习到数据的基本规律，常见于模型过于简单或训练不足时。

过拟合案例 ：某电商推荐系统在历史数据上点击率提升 30%，上线后实际转化率反而下降 15%。后排查发现模型过度拟合了季节性促销活动的噪声特征。
欠拟合案例 ：医疗影像分类模型在训练集和测试集上准确率均停留在 65%，无法满足临床需求。原因是使用的浅层 CNN 模型无法捕捉病变区域的细微特征。

正则化技术
L1 正则化：通过添加权重绝对值之和的惩罚项，促使稀疏权重（适合特征选择）
L2 正则化：通过添加权重平方和的惩罚项，限制权重幅度（默认首选）
Dropout
训练时随机丢弃部分神经元（如设置 0.5 概率），防止神经元过度协同
注意：测试时需要按概率缩放激活值（或使用 inverted dropout）
早停法（Early Stopping）
监控验证集性能，当连续 N 轮（如 10 轮）未提升时终止训练
需配合 ModelCheckpoint 保存最佳权重
数据增强
对图像：旋转 / 翻转 / 裁剪 / 加噪声
对文本：同义词替换 / 随机插入删除

增加模型复杂度
添加更多层或增大隐藏单元数
替换更强的模型架构（如 ResNet 替代 VGG）
特征工程
添加交叉特征或多项式特征
使用领域知识构造新特征（如从日期提取星期信息）
调整学习率
过小的学习率会导致收敛缓慢
使用学习率衰减或自适应优化器（如 Adam）

# 过拟合解决方案示例
from tensorflow.keras import layers, regularizers

# 添加 L2 正则化的全连接层
model.add(layers.Dense(64, 
                      kernel_regularizer=regularizers.l2(0.01),
                      activation='relu'))

# Dropout 层用法
model.add(layers.Dropout(0.5))

# 早停法回调
from tensorflow.keras.callbacks import EarlyStopping
es = EarlyStopping(monitor='val_loss', patience=5)

# 欠拟合解决方案示例
# 增大模型复杂度
model.add(layers.Dense(256, activation='relu'))
model.add(layers.Dense(128, activation='relu'))

# 学习率调整
from tensorflow.keras.optimizers import Adam
optimizer = Adam(learning_rate=0.001)