CatBoost自定义损失函数实战指南：从原理到实现

1次阅读

共计 2122 个字符，预计需要花费 6 分钟才能阅读完成。

在机器学习项目中，损失函数是模型优化的核心目标。虽然 CatBoost 提供了丰富的内置损失函数（如 Logloss、RMSE 等），但在实际业务场景中，我们常常需要根据特定需求定制损失函数。本文将带你从零开始实现 CatBoost 自定义损失函数，解决那些内置函数无法满足的特殊需求。

CatBoost 内置的损失函数虽然覆盖了常见场景，但在以下情况可能不够用：

业务指标与标准损失函数不对齐（如金融风控中的不对称代价）
需要引入领域知识（如医疗诊断中的误诊惩罚权重）
处理特殊数据分布（如极度不平衡的分类问题）

相比于 XGBoost 和 LightGBM，CatBoost 的自定义损失函数实现有几个关键区别：

接口设计：CatBoost 要求同时实现损失函数及其一阶、二阶导数
类别特征处理：CatBoost 原生支持类别特征，自定义时无需额外编码
数值稳定性：CatBoost 内部有自动的数值稳定处理机制

CatBoost 需要你提供三个关键组件：

损失函数本身：$L(y, \hat{y})$
一阶导数：$\frac{\partial L}{\partial \hat{y}}$
二阶导数：$\frac{\partial^2 L}{\partial \hat{y}^2}$

下面我们实现一个不对称加权平方误差（AWSE）损失函数，它对高估和低估给予不同惩罚：

import numpy as np

class AsymmetricWeightedSquaredError(object):
    """
    不对称加权平方误差损失
    alpha: 高估惩罚系数（pred > true 时）beta: 低估惩罚系数（pred < true 时）"""
    def __init__(self, alpha=1.0, beta=1.0):
        self.alpha = alpha
        self.beta = beta

    def calc_ders_range(self, approxes, targets, weights):
        """
        核心计算方法
        approxes: 模型预测值数组
        targets: 真实值数组
        weights: 样本权重数组
        返回: (der1, der2) 元组列表
        """
        assert len(approxes) == len(targets)
        if weights is not None:
            assert len(weights) == len(targets)

        result = []
        for index in range(len(targets)):
            pred = approxes[index]
            true = targets[index]

            # 计算误差方向
            error = pred - true

            # 一阶导数
            if error > 0:  # 高估
                der1 = 2 * self.alpha * error
                der2 = 2 * self.alpha
            else:  # 低估
                der1 = 2 * self.beta * error
                der2 = 2 * self.beta

            if weights is not None:
                der1 *= weights[index]
                der2 *= weights[index]

            result.append((der1, der2))

        return result

使用自定义损失函数训练模型：

from catboost import CatBoostRegressor

# 初始化自定义损失函数
custom_loss = AsymmetricWeightedSquaredError(alpha=1.5, beta=0.5)

# 创建模型
model = CatBoostRegressor(
    loss_function=custom_loss,
    iterations=500,
    learning_rate=0.03,
    verbose=100
)

# 训练模型
model.fit(
    X_train, y_train,
    eval_set=(X_val, y_val),
    plot=True
)