机器学习模型评估实战：如何通过10-折交叉验证和留出法提升分类模型性能（AUC≥0.7）

1次阅读

没有评论

共计 2859 个字符，预计需要花费 8 分钟才能阅读完成。

在机器学习项目中，模型评估是至关重要的一环。很多开发者常常会遇到以下问题：

训练集和测试集划分不合理，导致评估结果不准确
模型在训练集上表现很好，但在实际应用中表现不佳（过拟合）
不知道如何选择合适的评估指标来衡量模型性能
资源有限时，如何充分利用数据评估模型

这些问题直接影响模型的可靠性和最终落地效果。本文将介绍两种常用的评估方法：10- 折交叉验证和留出法，帮助开发者更准确地评估分类模型性能。

优点：

充分利用有限的数据资源
减少评估结果的方差
适合数据集较小的情况

缺点：

计算成本较高，需要训练多个模型
实现相对复杂

优点：

实现简单直接
计算成本较低
适合大型数据集

缺点：

评估结果可能对数据划分敏感
没有充分利用所有数据进行训练

在开始建模前，我们需要对数据进行预处理：

处理缺失值
特征标准化 / 归一化
类别标签编码
处理类别不平衡问题

我们将使用三种常见的分类算法：

SVM（支持向量机）
随机森林
决策树

我们需要计算以下指标：

查全率（Recall）
查准率（Precision）
AUC（Area Under Curve）

# 导入必要的库
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import precision_score, recall_score, roc_auc_score
from sklearn.svm import SVC
from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import DecisionTreeClassifier

# 数据预处理
def preprocess_data(data):
    # 处理缺失值
    data = data.dropna()

    # 分离特征和标签
    X = data.drop('target', axis=1)
    y = data['target']

    # 特征标准化
    scaler = StandardScaler()
    X_scaled = scaler.fit_transform(X)

    return X_scaled, y

# 留出法评估
def holdout_evaluation(X, y, model):
    # 划分训练集和测试集
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

    # 训练模型
    model.fit(X_train, y_train)

    # 预测概率
    y_pred_prob = model.predict_proba(X_test)[:, 1]

    # 计算指标
    precision = precision_score(y_test, y_pred_prob > 0.5)
    recall = recall_score(y_test, y_pred_prob > 0.5)
    auc = roc_auc_score(y_test, y_pred_prob)

    return precision, recall, auc

# 10 折交叉验证评估
def cross_validation_evaluation(X, y, model):
    # 计算交叉验证得分
    precision_scores = cross_val_score(model, X, y, cv=10, scoring='precision')
    recall_scores = cross_val_score(model, X, y, cv=10, scoring='recall')
    auc_scores = cross_val_score(model, X, y, cv=10, scoring='roc_auc')

    return np.mean(precision_scores), np.mean(recall_scores), np.mean(auc_scores)

# 主程序
if __name__ == '__main__':
    # 加载数据
    data = pd.read_csv('your_dataset.csv')

    # 预处理数据
    X, y = preprocess_data(data)

    # 初始化模型
    models = {'SVM': SVC(probability=True),
        'Random Forest': RandomForestClassifier(),
        'Decision Tree': DecisionTreeClassifier()}

    # 评估每个模型
    for name, model in models.items():
        print(f'Evaluating {name}...')

        # 留出法评估
        p_holdout, r_holdout, auc_holdout = holdout_evaluation(X, y, model)
        print(f'Holdout - Precision: {p_holdout:.3f}, Recall: {r_holdout:.3f}, AUC: {auc_holdout:.3f}')

        # 10 折交叉验证评估
        p_cv, r_cv, auc_cv = cross_validation_evaluation(X, y, model)
        print(f'10-Fold CV - Precision: {p_cv:.3f}, Recall: {r_cv:.3f}, AUC: {auc_cv:.3f}')
        print('-'*50)

我们使用三种算法在两种评估方法下的表现对比如下：

算法	评估方法	查准率	查全率	AUC
SVM	留出法	0.75	0.68	0.72
SVM	10 折 CV	0.73	0.70	0.71
随机森林	留出法	0.82	0.75	0.85
随机森林	10 折 CV	0.81	0.77	0.84
决策树	留出法	0.78	0.72	0.74
决策树	10 折 CV	0.76	0.74	0.73