机器学习实战：使用交叉验证与留出法构建高AUC分类模型

1次阅读

没有评论

共计 1833 个字符，预计需要花费 5 分钟才能阅读完成。

在机器学习项目中，模型评估是至关重要的一环。很多初学者容易犯的错误是直接在训练集上测试模型性能，这样往往会得到过于乐观的结果。本文将介绍两种常用的模型评估方法：10- 折交叉验证和留出法，帮助大家构建更可靠的分类模型。

当我们在训练集上训练出一个模型后，最想知道的就是它在未见过的数据上的表现如何。如果直接把所有数据都用来训练，我们就无法客观评估模型的真实性能。这就像学生只复习考试题目而不知道其他题目一样，考试成绩可能会虚高。

留出法是最简单的评估方法：

将数据集随机划分为训练集和测试集，通常是 7:3 或 8:2 的比例
在训练集上训练模型
在测试集上评估模型性能

而 10- 折交叉验证则更加稳健：

将数据分成 10 个大小相似的子集
每次用 9 个子集训练，剩下的 1 个子集测试
重复这个过程 10 次，每次用不同的子集测试
最后取 10 次评估结果的平均值

不同的分类算法适用于不同的数据特点：

决策树 ：简单直观，容易解释，但容易过拟合
随机森林 ：通过集成多棵决策树提高泛化能力
SVM：适合高维数据，但对参数和核函数选择敏感

下面我们以 Python 的 scikit-learn 库为例，展示完整的实现流程。

from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import precision_score, recall_score, roc_auc_score
import pandas as pd

# 1. 数据加载和预处理
data = pd.read_csv('your_dataset.csv')
X = data.drop('target', axis=1)
y = data['target']

# 2. 留出法实现
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)

y_pred = model.predict(X_test)
y_proba = model.predict_proba(X_test)[:,1]

print(f"Precision: {precision_score(y_test, y_pred):.2f}")
print(f"Recall: {recall_score(y_test, y_pred):.2f}")
print(f"AUC: {roc_auc_score(y_test, y_proba):.2f}")

# 3. 10- 折交叉验证实现
cv_scores = cross_val_score(model, X, y, cv=10, scoring='roc_auc')
print(f"Cross-validation AUC scores: {cv_scores}")
print(f"Mean AUC: {cv_scores.mean():.2f} (±{cv_scores.std():.2f})")