CatBoost回归模型过拟合问题全解析：从原理到调优实战

1次阅读

没有评论

共计 1924 个字符，预计需要花费 5 分钟才能阅读完成。

CatBoost 是 Yandex 开发的梯度提升算法库，主要优势体现在三个方面：

自动处理类别特征：无需手动编码即可直接处理字符串类型的分类变量
有序提升技术：通过特殊的数据排列方式减少预测偏移，提升模型稳定性
对称树结构：采用完全平衡的决策树，计算效率更高且不易过拟合

在回归任务中，CatBoost 特别适用于：

包含大量类别特征的表格数据（如用户行为数据）
需要处理缺失值的实际业务场景
中大规模数据集（万级到百万级样本）的预测问题

样本量不足：当特征维度与样本量的比例失衡时（如 100 个特征仅 500 个样本），模型容易记住噪声
特征质量差：包含大量无关特征或重复特征时，模型会学习虚假规律
标签泄漏：训练数据中意外混入与标签直接相关的特征（如用未来数据预测过去）

树深度过大 ：默认的depth=6 对于简单问题可能过深，导致决策边界过于复杂
迭代次数过多 ：n_estimators 设置过大时，模型会不断拟合训练集细节
正则化不足 ：l2_leaf_reg 过小会导致叶节点权重无约束，模型变得敏感

from catboost import CatBoostRegressor

# 基础参数配置
model = CatBoostRegressor(
    iterations=1000,  # 总迭代次数
    learning_rate=0.03,  # 建议从 0.03-0.1 开始尝试
    depth=4,  # 树深度，简单问题用 2 -4，复杂问题用 6 -8
    l2_leaf_reg=3,  # L2 正则化系数，典型值 1 -10
    random_strength=1,  # 分裂时的随机强度
    early_stopping_rounds=50,  # 早停轮数
    verbose=100  # 每 100 轮打印日志
)

推荐使用内置的早停功能，比手动实现更可靠：

from sklearn.model_selection import train_test_split

# 划分验证集
train_X, val_X, train_y, val_y = train_test_split(X, y, test_size=0.2)

# 启用早停
model.fit(
    train_X, train_y,
    eval_set=(val_X, val_y),
    early_stopping_rounds=50,
    use_best_model=True  # 自动回滚到最佳迭代
)

建议使用分层 K 折交叉验证评估泛化能力：

from sklearn.model_selection import KFold
from sklearn.metrics import mean_squared_error

kf = KFold(n_splits=5)
cv_scores = []

for train_idx, test_idx in kf.split(X):
    train_data = X.iloc[train_idx], y.iloc[train_idx]
    test_data = X.iloc[test_idx], y.iloc[test_idx]

    model.fit(*train_data)
    preds = model.predict(test_data[0])
    score = mean_squared_error(test_data[1], preds)
    cv_scores.append(score)

print(f"CV RMSE: {np.mean(cv_scores):.4f} ± {np.std(cv_scores):.4f}")