机器学习模型调优实战：过拟合与欠拟合的识别与解决方案

1次阅读

没有评论

共计 1607 个字符，预计需要花费 5 分钟才能阅读完成。

在机器学习模型开发过程中，过拟合 (Overfitting) 和欠拟合 (Underfitting) 是影响模型性能的两大核心问题。理解它们的本质是模型调优的第一步。

过拟合：模型在训练集上表现优异，但在测试集或新数据上表现显著下降。这通常意味着模型过度记忆了训练数据的噪声和细节，而未能学习到数据的通用规律。典型的识别方法是观察学习曲线——训练误差持续降低而验证误差开始上升的拐点。
欠拟合：模型在训练集和测试集上都表现不佳，说明模型未能捕捉数据的基本模式。在学习曲线上表现为训练误差和验证误差都维持在较高水平。

这两种问题在实际业务中会造成严重后果：

过拟合模型上线后会出现预测结果不稳定、业务指标波动大等问题。例如推荐系统可能给用户推送过度个性化的低质量内容。
欠拟合模型则无法达到业务要求的基本准确率。比如金融风控模型如果欠拟合，可能会漏掉大量风险交易。

正则化是解决过拟合最有效的方法之一，其核心思想是在损失函数中加入惩罚项，限制模型参数的大小。

L1 正则化(Lasso)：
惩罚项为参数绝对值和：λΣ|w|
会产生稀疏解，适用于特征选择

sklearn 实现示例：

from sklearn.linear_model import Lasso
model = Lasso(alpha=0.1)  # alpha 即正则化强度
model.fit(X_train, y_train)

L2 正则化(Ridge)：
惩罚项为参数平方和：λΣw²
参数会接近但不等于零

sklearn 实现：

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)
model.fit(X_train, y_train)

通过交叉验证选择最优的 alpha 值：

from sklearn.linear_model import RidgeCV
model = RidgeCV(alphas=[0.1, 1.0, 10.0], cv=5)
model.fit(X_train, y_train)
print(f'Best alpha: {model.alpha_}')

当模型欠拟合时，可以考虑以下方法：

增加模型容量：
对线性模型，尝试多项式特征扩展
对神经网络，增加层数或神经元数量
特征工程：
添加更有意义的特征
尝试特征交叉组合
减少正则化：
降低 L1/L2 的正则化强度
去除不必要的特征剪枝

通过网格搜索找到最佳超参数组合：

from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures

pipe = make_pipeline(PolynomialFeatures(),
    Ridge())

params = {'polynomialfeatures__degree': [1, 2, 3],
    'ridge__alpha': [0.001, 0.01, 0.1, 1]
}

grid = GridSearchCV(pipe, params, cv=5)
grid.fit(X_train, y_train)