CatBoost自定义损失函数实战指南：从原理到实现

1次阅读

共计 2108 个字符，预计需要花费 6 分钟才能阅读完成。

CatBoost 作为一款强大的梯度提升库，提供了丰富的内置损失函数，如 Logloss、RMSE 等，适用于大多数常见任务。但在实际业务场景中，这些通用损失函数可能无法完全满足需求，主要体现在：

对业务指标的匹配度不足（如金融风控中更关注召回率）
特殊数据分布下的适应性差（如极度不平衡数据）
多目标优化时缺乏灵活组合能力

与其他主流 GBDT 框架相比，CatBoost 的自定义损失实现有其独特之处：

框架	自定义方式	主要特点
XGBoost	需同时定义一阶导和二阶导	灵活性高但实现复杂
LightGBM	通过函数对象返回梯度 / 海森矩阵	支持多分类但调试较困难
CatBoost	继承基类实现完整损失逻辑	接口统一且支持 GPU 加速

CatBoost 要求自定义损失必须实现三个核心方法：

calc_ders_range(): 计算单个样本的损失和导数
evaluate(): 评估整体损失值
get_final_error(): 返回最终优化目标值

以下是一个加权 Logloss 的实现示例（假设正样本权重为 2）：

import numpy as np
from catboost import CatBoostClassifier, EFeaturesSelectionAlgorithm

class WeightedLoglossObjective(object):
    def calc_ders_range(self, approxes, targets, weights):
        """
        approxes: 模型预测值
        targets: 真实标签
        weights: 样本权重
        返回: (loss, der1, der2)
        """
        assert len(approxes) == len(targets)
        if weights is None:
            weights = np.ones(len(targets))

        result = []
        for approx, target, weight in zip(approxes, targets, weights):
            p = 1.0 / (1 + np.exp(-approx))
            # 正样本权重加倍
            sample_weight = weight * (2 if target > 0.5 else 1)

            der1 = (p - target) * sample_weight
            der2 = p * (1 - p) * sample_weight
            loss = (-target * np.log(p) - (1 - target) * np.log(1 - p)) * sample_weight

            result.append((loss, der1, der2))
        return result

    def evaluate(self, approxes, targets, weights):
        """评估整体损失"""
        errors = []
        for approx, target in zip(approxes, targets):
            p = 1.0 / (1 + np.exp(-approx))
            errors.append(-target * np.log(p) - (1 - target) * np.log(1 - p))
        return np.average(errors, weights=weights)

    def get_final_error(self, error, weight):
        """返回最终优化目标"""
        return error

使用自定义损失训练模型时需注意：

# 初始化模型时指定自定义损失
model = CatBoostClassifier(loss_function=WeightedLoglossObjective(),
    iterations=500,
    learning_rate=0.03,
    custom_metric=['Logloss', 'AUC']  # 可同时监控标准指标
)

# 训练时需关闭自动推导特征类型
model.fit(
    X_train, y_train,
    eval_set=(X_val, y_val),
    verbose=100,
    feature_names=list(feature_names),
    cat_features=cat_features_indices
)