机器学习中的AUPR优化：从理论到工程实践

1次阅读

共计 2098 个字符，预计需要花费 6 分钟才能阅读完成。

在二分类问题中，当正负样本比例严重失衡时（比如 1:1000），ROC-AUC 往往会给出过于乐观的评估。相比之下，AUPR（Area Under the Precision-Recall Curve，精确率 - 召回率曲线下面积）更关注正样本的识别能力，是金融风控、医疗诊断等场景的核心指标。

两者的核心差异在于：
– ROC-AUC 的 x 轴是 FPR（False Positive Rate，假正率），其计算包含大量负样本的影响
– PR 曲线的 x 轴是 Recall（召回率），y 轴是 Precision（精确率），完全聚焦正样本的表现

数据分布：0.3% 正样本（欺诈交易）
错误做法：直接使用 RandomForest 默认参数（AUC=0.98，AUPR=0.21）
问题根源：模型将所有样本预测为负即可获得很高 AUC

数据特征：20000 样本中仅 40 例阳性
失败尝试：逻辑回归 + 过采样（AUPR 仅 0.35）
关键失误：未调整分类阈值，固定使用 0.5

场景特点：故障事件间隔可达数月
错误配置：LSTM 模型 +SMOTE（AUPR 波动±0.15）
原因分析：时间序列数据被过采样破坏连续性

from sklearn.metrics import precision_recall_curve
import numpy as np

# 生成模拟数据
y_true = np.array([0, 0, 1, 1])  # 真实标签
y_scores = np.array([0.1, 0.4, 0.35, 0.8])  # 预测概率

# 计算 PR 曲线关键点
precision, recall, thresholds = precision_recall_curve(y_true, y_scores)
# thresholds 会包含 n_thresholds 个递减的决策边界

# 数据准备阶段
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

X, y = make_classification(n_samples=10000, n_classes=2, weights=[0.99, 0.01], random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, stratify=y)

# 模型训练（以 LightGBM 为例）import lightgbm as lgb
model = lgb.LGBMClassifier(class_weight='balanced')
model.fit(X_train, y_train)

# 预测与评估
probs = model.predict_proba(X_test)[:, 1]
precision, recall, _ = precision_recall_curve(y_test, probs)
aupr = np.trapz(precision, recall)  # 梯形法计算曲线下面积

def find_optimal_threshold(y_true, y_scores, beta=1):
    """
    基于 Fβ 分数最大化寻找最优阈值
    beta: 召回率权重系数（beta>1 时更关注 recall）"""
    precisions, recalls, thresholds = precision_recall_curve(y_true, y_scores)
    fbeta_scores = (1+beta**2) * (precisions*recalls) / (beta**2*precisions + recalls)
    return thresholds[np.nanargmax(fbeta_scores)]  # 忽略 NaN 值