机器学习模型调优实战：从欠拟合/过拟合诊断到解决方案

1次阅读

没有评论

共计 1614 个字符，预计需要花费 5 分钟才能阅读完成。

欠拟合 ：模型在训练集和测试集上表现都很差，通常是因为模型太简单，无法捕捉数据中的复杂模式。常见原因包括：
模型复杂度不足（如线性模型拟合非线性数据）
特征工程不充分（缺少关键特征）
训练数据量太少
过拟合 ：模型在训练集上表现很好但在测试集上表现差，通常是因为模型过于复杂，记住了训练数据的噪声而非学习通用模式。常见原因包括：
模型复杂度过高（如深度神经网络层数过多）
训练数据不足或缺乏多样性
训练迭代次数过多（未及时停止）

高偏差 ：模型过于简单，导致预测值与真实值差距大（欠拟合）
高方差 ：模型过于复杂，对训练数据过度敏感（过拟合）
理想模型应在偏差和方差之间取得平衡

欠拟合场景 ：
训练集和验证集准确率都很低
模型预测结果与真实值偏差较大
特征重要性分析显示关键特征未被有效利用
过拟合场景 ：
训练集准确率高但验证集准确率低
模型在噪声数据上表现异常好
不同训练批次间模型表现波动大

数学原理 ：在损失函数中添加权重向量的 L2 范数作为惩罚项
```
 新损失函数 = 原损失函数 + λ * ||w||²
```
λ：正则化强度超参数
||w||²：所有权重平方和
实现效果 ：
限制权重值过大
使模型参数分布更平滑

PyTorch 实现 ：

import torch
import torch.nn as nn

model = nn.Sequential(nn.Linear(100, 50),
    nn.ReLU(),
    nn.Linear(50, 10)
)

criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01, weight_decay=0.01)  # weight_decay 即 λ

工作机制 ：
训练时随机 ” 关闭 ” 部分神经元（置为 0）
预测时使用全部神经元但按比例缩小权重
相当于对多个子模型进行集成
实现要点 ：
通常设置在 0.2-0.5 之间的关闭概率
仅用于全连接层和卷积层

TensorFlow 实现 ：

import tensorflow as tf

model = tf.keras.Sequential([tf.keras.layers.Dense(128, activation='relu'),
    tf.keras.layers.Dropout(0.3),  # 30% 的神经元会被随机关闭
    tf.keras.layers.Dense(10, activation='softmax')
])

图像数据常用方法 ：
随机旋转 / 翻转
颜色抖动
随机裁剪
添加噪声
文本数据常用方法 ：
同义词替换
随机插入 / 删除
回译（翻译成其他语言再译回）

PyTorch 图像增强示例 ：

from torchvision import transforms

transform = transforms.Compose([transforms.RandomHorizontalFlip(),
    transforms.RandomRotation(15),
    transforms.ColorJitter(brightness=0.2, contrast=0.2),
    transforms.ToTensor()])