CatBoost回归模型过拟合问题分析与调优实战

1次阅读

没有评论

共计 3177 个字符，预计需要花费 8 分钟才能阅读完成。

CatBoost 是 Yandex 开发的一款高性能梯度提升决策树（GBDT）算法，特别擅长处理类别型特征，无需繁琐的预处理即可直接使用。相比 XGBoost 和 LightGBM，CatBoost 在回归任务中具有以下优势：

自动处理类别特征，省去人工编码步骤
内置有序提升（Ordered Boosting）技术，减少过拟合
支持 GPU 加速，训练效率高

然而在实际应用中，尤其是数据量有限或特征工程不完善时，CatBoost 回归模型仍可能出现过拟合现象。本文将系统分析过拟合成因，并提供一套完整的解决方案。

数据层面问题
训练样本不足（样本量 < 特征量）
类别特征基数过高（高基数类别）
存在噪声标签或异常值
参数设置不当
树深度（depth）过大导致模型复杂
学习率（learning_rate）过高
正则化参数（l2_leaf_reg）设置过小
训练过程监控不足
未使用早停策略
缺乏验证集评估
迭代轮次（iterations）过多

关键参数及其作用：

learning_rate: 学习率控制每棵树的贡献权重，建议初始值 0.03-0.1
depth: 树的最大深度，通常 4 -10 之间
l2_leaf_reg: L2 正则化系数，默认 3，可尝试 1 -10
random_strength: 分裂随机性强度，增加可提升泛化
bagging_temperature: 控制样本采样强度

推荐使用 Optuna 进行自动化调参：

import optuna
from catboost import CatBoostRegressor

def objective(trial):
    params = {'learning_rate': trial.suggest_float('learning_rate', 0.01, 0.3),
        'depth': trial.suggest_int('depth', 4, 10),
        'l2_leaf_reg': trial.suggest_float('l2_leaf_reg', 1, 10),
        'random_strength': trial.suggest_float('random_strength', 0.1, 10),
        'bagging_temperature': trial.suggest_float('bagging_temperature', 0, 1)
    }
    model = CatBoostRegressor(**params, iterations=500, early_stopping_rounds=20)
    model.fit(X_train, y_train, eval_set=(X_val, y_val), verbose=0)
    return model.best_score_['validation']['RMSE']

study = optuna.create_study(direction='minimize')
study.optimize(objective, n_trials=50)

设置 early_stopping_rounds 参数，当验证集指标连续 N 轮不提升时停止训练：

model = CatBoostRegressor(
    iterations=1000,
    early_stopping_rounds=50,
    eval_metric='RMSE',
    verbose=100
)
model.fit(
    X_train, y_train,
    eval_set=(X_val, y_val),
    plot=True  # 自动绘制训练曲线
)

对于样本不足的情况，可考虑：

SMOTE-NC（处理混合型数据）：

from imblearn.over_sampling import SMOTENC

# 假设前 5 列是类别特征
smote = SMOTENC(categorical_features=[0,1,2,3,4], random_state=42)
X_res, y_res = smote.fit_resample(X, y)

添加高斯噪声：

noise = np.random.normal(0, 0.1, X_train.shape)
X_train_noised = X_train + noise

from catboost import CatBoostRegressor

# 初始化基础模型
model = CatBoostRegressor(iterations=1000, depth=8)
model.fit(X_train, y_train)

# 评估
train_score = model.score(X_train, y_train)
val_score = model.score(X_val, y_val)
print(f"Train R2: {train_score:.4f}, Val R2: {val_score:.4f}")

# 优化参数配置
tuned_model = CatBoostRegressor(
    iterations=1000,
    learning_rate=0.05,
    depth=6,
    l2_leaf_reg=5,
    random_strength=3,
    early_stopping_rounds=30,
    bagging_temperature=0.8,
    od_type='Iter',
    eval_metric='RMSE',
    random_seed=42
)

tuned_model.fit(
    X_train, y_train,
    eval_set=(X_val, y_val),
    verbose=100,
    plot=True
)

# 特征重要性分析
fea_imp = pd.DataFrame({
    'feature': X_train.columns,
    'importance': tuned_model.feature_importances_
}).sort_values('importance', ascending=False)

通过以下指标评估改进效果：

训练 / 验证损失曲线：观察是否收敛且 gap 合理
特征重要性：检查是否聚焦关键特征
测试集表现：最终泛化能力

import matplotlib.pyplot as plt

# 绘制学习曲线
history = tuned_model.evals_result_
plt.figure(figsize=(12, 6))
plt.plot(history['learn']['RMSE'], label='Train')
plt.plot(history['validation']['RMSE'], label='Validation')
plt.axvline(tuned_model.best_iteration_, color='gray', linestyle='--')
plt.title('Learning Curve')
plt.xlabel('Iterations')
plt.ylabel('RMSE')
plt.legend()
plt.show()