CatBoost实战：如何高效处理类别型特征并防止过拟合

1次阅读

共计 2355 个字符，预计需要花费 6 分钟才能阅读完成。

在机器学习项目中，处理类别型特征（Categorical Features）一直是个头疼的问题。这类特征包括性别、颜色、产品类别等，它们的值不是数字，而是离散的类别。传统 GBDT 算法（如 XGBoost、原始 GBDT）处理这类特征时面临几个主要问题：

需要手动编码：传统方法通常要求将类别型特征转换为数值型，比如 One-Hot 编码或 Label Encoding。这不仅增加了预处理步骤，还可能引发维度灾难（尤其是类别数量多时）。
信息丢失风险：简单的 Label Encoding 会引入虚假的顺序关系（比如将颜色 ” 红、绿、蓝 ” 编码为 1、2、3，模型可能误认为蓝 > 绿 > 红）。
过拟合倾向：尤其是当类别型特征的基数（Cardinality，即唯一值数量）很高时，传统方法容易捕捉到训练集中的噪声而非真实规律。

CatBoost、XGBoost 和 LightGBM 都是梯度提升决策树（GBDT）的变种，但它们在处理类别型特征上有显著差异：

特性	XGBoost	LightGBM	CatBoost
类别型特征处理	需手动编码	需手动编码	原生支持
过拟合防护	依赖正则化参数	依赖正则化参数	对称树 + 排序增强
训练速度	中等	最快	中等偏快
适用场景	通用	大数据量	高基数类别特征

CatBoost 的核心优势在于：

内置类别处理：直接接受类别型特征输入，无需预处理。
更鲁棒的过拟合防护：通过对称树结构和特殊的排序策略减少过拟合。

CatBoost 使用一种称为 Ordered Target Encoding 的技术。其关键思想是：

对每个样本的类别型特征，计算该类别在 历史数据（即当前样本之前已处理的样本）中目标值的平均值。
加入噪声（正则化）防止过拟合。

例如，对于 ” 颜色 ” 特征，某个样本的编码值可能是：

encoded_value = (sum_target_prior + prior) / (count_prior + 1)

其中 sum_target_prior 是该颜色在之前样本中的目标值总和，count_prior是出现次数，prior是先验值。

对称树（Oblivious Trees）：同一层的所有节点使用相同的分裂特征和阈值。这种结构虽然牺牲了一些灵活性，但大大降低了过拟合风险。
排序增强（Ordered Boosting）：训练时对样本进行随机排列，确保每个树只能看到 ” 历史 ” 数据，避免信息泄露。

以下是一个使用 CatBoost 处理分类任务的完整示例（数据集：Titanic）：

import pandas as pd
from catboost import CatBoostClassifier, Pool
from sklearn.model_selection import train_test_split

# 加载数据
data = pd.read_csv('titanic.csv')
categorical_features = ['Pclass', 'Sex', 'Embarked']  # 显式指定类别型特征

# 划分训练测试集
train, test = train_test_split(data, test_size=0.2)

# 创建 CatBoost 专用数据容器
train_pool = Pool(data=train.drop('Survived', axis=1),
    label=train['Survived'],
    cat_features=categorical_features
)

# 初始化模型
model = CatBoostClassifier(
    iterations=500,
    learning_rate=0.05,
    depth=6,
    loss_function='Logloss',
    verbose=100  # 每 100 轮打印进度
)

# 训练
model.fit(train_pool)

# 评估
print(f"Test accuracy: {model.score(test.drop('Survived', axis=1), test['Survived']):.3f}")

关键参数说明：
– cat_features：显式声明哪些列是类别型特征
– iterations：树的数量
– depth：对称树的最大深度

我们在一个包含高基数类别特征（约 500 个唯一值）的数据集上对比：