CatBoost参数调优实战：从原理到最佳实践

1次阅读

共计 1635 个字符，预计需要花费 5 分钟才能阅读完成。

在实际业务场景中使用 CatBoost 时，许多开发者会遇到这样的困扰：明明用了默认参数，模型效果却不如预期；手动调参时又发现参数组合太多，试错成本极高。更让人纠结的是，CatBoost 虽然以自动处理类别特征著称，但如果不理解参数背后的机制，反而可能让这个优势变成性能瓶颈。

与 XGBoost 和 LightGBM 相比，CatBoost 的参数体系有几个显著特点：

自动类别处理 ：不需要手动做 one-hot 编码，通过cat_features 参数声明即可
对称树结构 ：采用grow_policy 控制树生长方式，减少过拟合风险
内置正则化 ：l2_leaf_reg 等参数设计更贴合实际业务数据分布

depth：树的最大深度，建议从 4 -10 开始尝试。与 XGBoost 不同，CatBoost 的树是对称生长的
grow_policy：控制树生长策略，SymmetricTree（默认）适合大多数场景，Lossguide更适合稀疏数据

cat_features：直接指定类别型特征的列索引，这是 CatBoost 的核心优势
one_hot_max_size：对取值小于该数的类别特征自动做 one-hot 编码，建议设为 10-20

l2_leaf_reg：L2 正则化系数，默认 3，增大该值可以防止过拟合
model_size_reg：控制模型复杂度，值越大模型越小

from catboost import CatBoostClassifier

# 核心参数设置
params = {
    'iterations': 1000,
    'depth': 6,
    'learning_rate': 0.03,
    'l2_leaf_reg': 3,
    'cat_features': cat_features_idx,  # 指定类别特征列
    'one_hot_max_size': 15,
    'loss_function': 'Logloss',
    'verbose': 200  # 每 200 轮打印一次日志
}

model = CatBoostClassifier(**params)
model.fit(X_train, y_train)

import optuna

def objective(trial):
    params = {'depth': trial.suggest_int('depth', 4, 10),
        'l2_leaf_reg': trial.suggest_float('l2_leaf_reg', 1, 10),
        # 其他参数...
    }
    model = CatBoostClassifier(**params)
    model.fit(X_train, y_train)
    return model.get_best_score()['validation']['Logloss']

study = optuna.create_study(direction='minimize')
study.optimize(objective, n_trials=50)