CatBoost自定义损失函数实战：解决非对称业务场景的模型优化难题

1次阅读

没有评论

共计 2139 个字符，预计需要花费 6 分钟才能阅读完成。

在金融风控或医疗诊断场景中，不同类型的误判代价差异显著。例如：

将高风险用户误判为低风险（假阴性）可能导致巨额坏账
将健康人误诊为患病（假阳性）仅造成不必要的复查

但标准交叉熵损失函数平等对待所有错误，其优化目标与业务需求存在根本性错配。通过样本权重（class_weight）调整虽能缓解问题，但存在两大缺陷：

只能处理类别维度的不均衡，无法细化到样本级别
权重施加在损失计算前，无法反映预测置信度的影响

常见解决方案的优劣对比：

方法	优势	劣势
class_weight	实现简单	无法动态调整错误惩罚力度
过采样 / 欠采样	不改变模型结构	可能丢失重要信息或引入噪声
自定义阈值	部署阶段易实施	与模型训练目标不一致
自定义损失函数	精准匹配业务需求	需要深入理解梯度优化原理

CatBoost 通过 ObjectiveFunction 抽象类实现自定义损失，关键方法：

class WeightedLoglossObjective(object):
    def calc_ders_range(self, approxes, targets, weights):
        """
        approxes: 模型原始输出值（未经过 sigmoid）targets: 真实标签
        weights: 样本权重（可选）返回: (梯度, Hessian)
        """

# Python 3.8+, catboost==1.2
import numpy as np
from typing import List, Tuple

class AsymmetricLogloss:
    def __init__(self, false_neg_cost: float = 5.0):
        """:param false_neg_cost: 假阴性错误的相对代价系数"""
        self.fn_cost = false_neg_cost

    def calc_ders_range(self, approxes: List[float], targets: List[float], weights: List[float]
    ) -> List[Tuple[float, float]]:
        """实现加权对数损失的一阶导和二阶导计算"""
        assert len(approxes) == len(targets), "长度不一致"

        results = []
        for approx, target in zip(approxes, targets):
            # sigmoid 转换
            p = 1 / (1 + np.exp(-approx))

            # 梯度计算（加入代价敏感因子）if target > 0.5:  # 正样本
                grad = (p - 1) * self.fn_cost
                hess = p * (1 - p) * self.fn_cost
            else:  # 负样本
                grad = p
                hess = p * (1 - p)

            results.append((grad, hess))

        return results

from catboost import CatBoostClassifier, Pool

# 数据准备示例
train_data = Pool(
    data=X_train, 
    label=y_train,
    weight=sample_weights  # 可选样本权重
)

# 模型训练
model = CatBoostClassifier(
    iterations=1000,
    learning_rate=0.03,
    loss_function=AsymmetricLogloss(false_neg_cost=5.0),
    eval_metric='AUC',  # 监控指标需与业务一致
    early_stopping_rounds=50,
    task_type='GPU'  # 启用 GPU 加速
)

model.fit(
    train_data,
    eval_set=val_data,
    verbose=100
)

自定义损失函数不会自动作为 early stopping 的监控指标
解决方案：
通过 eval_metric 指定业务相关指标（如 F2-Score）
或实现 eval_metric 的自定义版本

当特征维度 >1000 时：

设置 max_ctr_complexity=1 降低类别特征组合复杂度
使用 bootstrap_type='Bernoulli' 减少内存占用
添加 used_ram_limit='4gb' 防止 OOM

当 false_neg_cost 设置过大时可能出现：

对梯度进行裁剪：
```
grad = np.clip(grad, -10, 10)
```

对预测概率平滑处理：

epsilon = 1e-6
p = np.clip(p, epsilon, 1-epsilon)

需要为每个类别单独定义代价权重：

class MultiClassLoss:
    def __init__(self, cost_matrix: np.ndarray):
        """cost_matrix: [n_classes, n_classes] 代价矩阵"""
        self.cost = cost_matrix

在实际业务中，误分类代价可能随时间变化（如金融领域的政策调整）。如何实现：