机器学习模型评估实战：当AUC达到0.977时，我们真的过拟合了吗？

1次阅读

共计 2018 个字符，预计需要花费 6 分钟才能阅读完成。

AUC（Area Under Curve）是评估二分类模型性能的重要指标，表示 ROC 曲线下的面积。其值范围在 0.5（随机猜测）到 1（完美预测）之间：

0.9-1.0：优秀
0.8-0.9：良好
0.7-0.8：一般
0.5-0.7：较差

在金融风控、医疗诊断等领域，AUC 因其对类别不平衡的鲁棒性而被广泛使用。

数据泄露 ：测试集可能包含训练集信息
标签噪声 ：标注错误导致虚假高指标
特征工程缺陷 ：如使用了未来信息

场景	合理 AUC	可疑 AUC
信用卡欺诈检测	0.85-0.95	>0.98
医疗影像分类	0.90-0.97	>0.99

准备 5 折交叉验证数据集
记录每折的 AUC 值
计算标准差

理想情况：各折 AUC 差异 <0.03

from sklearn.model_selection import learning_curve

train_sizes, train_scores, test_scores = learning_curve(
    estimator=model,
    X=X_train,
    y=y_train,
    cv=5,
    scoring='roc_auc'
)

健康曲线表现：
– 训练和验证分数逐渐收敛
– 验证分数最终稳定在合理区间

# 导入基础库
import numpy as np
from sklearn.datasets import make_classification
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_auc_score

# 生成模拟数据
X, y = make_classification(
    n_samples=10000,
    n_features=20,
    n_informative=15,
    flip_y=0.1,  # 添加噪声
    random_state=42
)

# 数据分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 模型训练
model = RandomForestClassifier(
    n_estimators=100,
    max_depth=10,
    random_state=42
)
model.fit(X_train, y_train)

# AUC 评估
train_auc = roc_auc_score(y_train, model.predict_proba(X_train)[:,1])
test_auc = roc_auc_score(y_test, model.predict_proba(X_test)[:,1])

print(f'Train AUC: {train_auc:.4f}')
print(f'Test AUC: {test_auc:.4f}')

import matplotlib.pyplot as plt

# 获取特征重要性
importances = model.feature_importances_
indices = np.argsort(importances)[::-1]

# 可视化
plt.figure(figsize=(10,6))
plt.title("Feature Importance")
plt.bar(range(X.shape[1]), importances[indices])
plt.xticks(range(X.shape[1]), indices)
plt.show()

健康特征分布应呈现：
– 少数特征主导（符合业务逻辑）
– 重要性平滑递减