机器学习入门：如何使用交叉验证有效避免模型过拟合

1次阅读

没有评论

共计 2528 个字符，预计需要花费 7 分钟才能阅读完成。

刚开始接触机器学习时，很多人会兴奋地看到模型在训练集上达到 95% 甚至 100% 的准确率，但一到真实测试环境就暴跌到 60%。这就是典型的过拟合现象——模型记住了训练数据的噪声和细节，却失去了泛化能力。

过拟合就像考试前死记硬背例题的学生，面对新题型就束手无策。这种现象会导致：

浪费计算资源训练出无用的模型
产生误导性的高指标假象
实际业务中可能造成严重决策错误

防止过拟合的关键是合理评估模型性能。以下是三种主流验证方法：

留出法(Hold-out)：简单粗暴地将数据分成固定训练集 / 测试集
优点：计算成本最低
缺点：结果受数据划分影响大，小数据集可能浪费大量样本
K 折交叉验证(K-fold CV)：将数据分成 K 份，轮流用 K - 1 份训练，1 份验证
优点：充分利用数据，结果更稳定
缺点：需要训练 K 次模型，耗时较长
留一法(LOO)：极端情况下的 K 折（K= 样本数）
优点：每个样本都参与验证
缺点：计算成本极高，只适合极小数据集

对大多数场景，K= 5 或 10 的交叉验证 是最佳平衡点。

好的数据是成功的一半。先进行标准化处理：

from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split

# 假设 X 是特征矩阵，y 是标签
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# 重要：只在训练集上拟合 scaler，避免数据泄露
scaler = StandardScaler().fit(X_train)
X_train_scaled = scaler.transform(X_train)
X_test_scaled = scaler.transform(X_test)  # 用相同的 scaler 转换测试集

使用 scikit-learn 只需几行代码：

from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier

# 设置 K =5，shuffle=True 表示先打乱数据顺序
# 分层抽样 (stratified) 保持每折的类别比例与原数据一致
cv_scores = cross_val_score(RandomForestClassifier(),
    X_train_scaled,
    y_train,
    cv=5,
    scoring='accuracy',
    n_jobs=-1  # 使用所有 CPU 核心并行计算
)

print(f"平均准确率: {cv_scores.mean():.2f} ± {cv_scores.std():.2f}")

shuffle 参数：对于时间序列数据需要设为 False，普通数据建议 True
n_jobs：- 1 表示使用所有可用处理器加速计算

诊断过拟合的黄金工具：

import matplotlib.pyplot as plt
from sklearn.model_selection import learning_curve

train_sizes, train_scores, val_scores = learning_curve(RandomForestClassifier(),
    X_train_scaled,
    y_train,
    cv=5,
    scoring='accuracy',
    n_jobs=-1
)

plt.plot(train_sizes, train_scores.mean(1), label='训练集')
plt.plot(train_sizes, val_scores.mean(1), label='验证集')
plt.fill_between(train_sizes, val_scores.mean(1)-val_scores.std(1), 
                 val_scores.mean(1)+val_scores.std(1), alpha=0.1)
plt.legend()
plt.title('学习曲线')
plt.show()

健康曲线：两条线最终接近且保持平稳
过拟合特征：训练集持续上升而验证集停滞

100 万 + 样本：建议使用 3 折或简单留出法
1 万 -100 万样本：5-10 折是理想选择
<1 万样本：考虑留一法或分层 K 折

务必使用分层抽样(stratified K-fold)

from sklearn.model_selection import StratifiedKFold
skf = StratifiedKFold(n_splits=5)

设置固定随机种子确保可复现性

import numpy as np
np.random.seed(42)  # 宇宙终极答案

在交叉验证前进行特征选择
使用全局 scaler 而不是每折单独处理
在预处理步骤中使用测试集信息

开发阶段固定种子便于调试
最终评估时应尝试不同种子取平均

当验证指标波动较大时，可以：

增加 K 值（如从 5 到 10）
检查是否需要更多数据
尝试重复交叉验证多次取平均

交叉验证与超参数调优的黄金组合：

from sklearn.model_selection import GridSearchCV

params = {'n_estimators': [50, 100, 200], 'max_depth': [3, 5, None]}
grid = GridSearchCV(RandomForestClassifier(), params, cv=5)
grid.fit(X_train_scaled, y_train)

print(f"最佳参数: {grid.best_params_}")