CatBoost回归模型过拟合问题分析与调优实战

1次阅读

没有评论

共计 2076 个字符，预计需要花费 6 分钟才能阅读完成。

CatBoost 是由 Yandex 开发的一种基于梯度提升决策树 (GBDT) 的机器学习算法。它在处理分类特征时表现出色，无需繁琐的预处理即可直接处理类别型变量。CatBoost 在回归任务中具有以下优势：

内置类别特征处理能力，无需独热编码
采用有序提升 (Ordered Boosting) 技术减少预测偏移
自动处理缺失值
默认参数表现良好，开箱即用

CatBoost 虽然强大，但在实际应用中仍然可能出现过拟合问题。过拟合主要表现为模型在训练集上表现优异，但在验证集或测试集上表现较差。主要原因包括：

数据量不足
训练样本太少，模型容易记住训练数据细节
特征维度高而样本少时问题更严重
模型复杂度过高
树深度过大
迭代次数过多
正则化不足
特征工程问题
包含大量噪声特征
特征之间存在高度相关性
泄露了未来信息
数据分布不均衡
某些类别或数值区间样本过少
导致模型无法学习到真实分布

以下关键参数可以有效控制过拟合：

learning_rate: 学习率，控制每棵树的贡献程度。通常设为 0.03-0.1
depth: 树的最大深度。建议从 4 - 6 开始尝试
l2_leaf_reg: L2 正则化系数。值越大正则化越强
iterations: 最大迭代次数。配合早停使用
random_strength: 分裂得分随机性。增加此值可引入更多随机性

早停 (Early Stopping) 是防止过拟合的有效方法：

from catboost import CatBoostRegressor

model = CatBoostRegressor(
    iterations=1000,
    early_stopping_rounds=50,  # 50 轮无提升则停止
    eval_metric='RMSE',
    random_seed=42
)

model.fit(
    X_train, y_train,
    eval_set=(X_val, y_val),
    verbose=100
)

对于数据量不足的情况，可以考虑以下增强方法：

SMOTE (Synthetic Minority Over-sampling Technique)
ADASYN (Adaptive Synthetic Sampling)
简单的随机过采样 / 欠采样

# 基础 CatBoost 实现
basic_model = CatBoostRegressor(
    iterations=500,
    learning_rate=0.1,
    depth=8,
    random_seed=42
)

basic_model.fit(X_train, y_train)

# 改进版 CatBoost
robust_model = CatBoostRegressor(
    iterations=1000,
    learning_rate=0.05,
    depth=6,
    l2_leaf_reg=3,
    early_stopping_rounds=50,
    random_strength=1,
    random_seed=42
)

robust_model.fit(
    X_train, y_train,
    eval_set=(X_val, y_val),
    verbose=100
)

通过绘制训练 / 验证损失曲线可以直观比较模型表现：

import matplotlib.pyplot as plt

# 获取训练历史
basic_history = basic_model.evals_result_
robust_history = robust_model.evals_result_

# 绘制学习曲线
plt.figure(figsize=(10, 6))
plt.plot(basic_history['learn']['RMSE'], label='Basic Train')
plt.plot(basic_history['validation']['RMSE'], label='Basic Val')
plt.plot(robust_history['learn']['RMSE'], label='Robust Train')
plt.plot(robust_history['validation']['RMSE'], label='Robust Val')
plt.legend()
plt.title('Learning Curves Comparison')
plt.xlabel('Iterations')
plt.ylabel('RMSE')
plt.show()