机器学习实战：10-折交叉验证与分类模型构建指南（AUC≥0.7）

1次阅读

没有评论

共计 1777 个字符，预计需要花费 5 分钟才能阅读完成。

在机器学习项目中，我们常常遇到两个核心问题：一是模型在训练集上表现良好，但在测试集上表现不佳，即泛化能力不足；二是评估指标（如 AUC）达不到业务要求（如 AUC≥0.7）。这些问题通常源于数据划分不合理、特征工程不充分或模型选择不当。

10- 折交叉验证是一种有效的解决方案，它通过将数据集分成 10 份，轮流使用其中 9 份作为训练数据，1 份作为测试数据，重复 10 次，最终取平均结果。这种方法可以更全面地评估模型的泛化能力，避免因数据划分不均导致的评估偏差。

适用场景：高维数据、小样本数据集，尤其是线性可分或近似线性可分的数据。
优点：在高维空间中表现良好，适合处理非线性问题（通过核函数）。
缺点：对参数（如 C、核函数）敏感，训练时间较长，尤其是大数据集。

适用场景：分类和回归任务，尤其是特征间存在交互作用的数据集。
优点：抗过拟合能力强，能处理高维数据，对参数不敏感。
缺点：模型解释性较差，训练时间随树的数量增加而增加。

适用场景：特征重要性分析、需要可解释性的场景。
优点：简单直观，训练速度快。
缺点：容易过拟合，对噪声敏感。

缺失值处理：填充或删除缺失值。
特征缩放：标准化或归一化数值特征。
类别编码：对分类变量进行独热编码或标签编码。

特征选择：使用方差阈值、卡方检验等方法筛选重要特征。
特征构造：通过领域知识构造新特征。

划分数据 ：使用StratifiedKFold 进行分层抽样，确保每折的类别分布一致。
训练模型：在每折训练集上训练模型，并在验证集上评估。
调参：使用网格搜索或随机搜索优化超参数。

from sklearn.model_selection import StratifiedKFold, cross_val_predict
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import precision_score, recall_score, roc_auc_score
import pandas as pd

# 加载数据
data = pd.read_csv('data.csv')
X = data.drop('target', axis=1)
y = data['target']

# 初始化模型和交叉验证
model = RandomForestClassifier(n_estimators=100, random_state=42)
cv = StratifiedKFold(n_splits=10, shuffle=True, random_state=42)

# 交叉验证预测
y_pred = cross_val_predict(model, X, y, cv=cv, method='predict_proba')

# 计算指标
precision = precision_score(y, (y_pred[:, 1] > 0.5).astype(int))
recall = recall_score(y, (y_pred[:, 1] > 0.5).astype(int))
auc = roc_auc_score(y, y_pred[:, 1])

print(f'Precision: {precision:.2f}, Recall: {recall:.2f}, AUC: {auc:.2f}')