决策树实战：如何用Gini系数优化CART模型分类性能

1次阅读

没有评论

共计 1666 个字符，预计需要花费 5 分钟才能阅读完成。

在构建 CART 决策树时，Gini 系数是最常用的节点分裂指标之一。但在实际业务场景中（如金融风控、医疗诊断），我们经常会遇到两个典型问题：

类别不平衡问题：当正负样本比例达到 1:100 甚至更极端时，传统 Gini 系数会倾向于选择多数类主导的分裂方式，导致模型对少数类（通常是关键类别）的识别能力下降。
数值稳定性问题：当某些类别的概率估计值非常小时（如 <1e-10），直接计算 $1-\sum p_i^2$ 会出现浮点下溢，导致分裂评估失效。

信息增益：对类别数量敏感，容易偏好多值特征
卡方检验：适用于统计显著性判断但计算开销大
Gini 系数（改进方向）：
计算效率高（无对数运算）
通过加权和数值优化解决原有问题

改进公式：
$$ Gini_w = 1 – \sum_{i=1}^k w_i(p_i)^2 $$
其中 $w_i$ 是预设的类别权重（如欺诈类权重 =100，正常类权重 =1）

使用 logsumexp 技巧避免下溢：
1. 计算 $\log p_i$（概率对数）
2. 通过 $2\log p_i + \log w_i$ 得到加权对数概率
3. 用 logsumexp 聚合后再转换回原始空间

import numpy as np
from scipy.special import logsumexp

def weighted_gini(probs, weights=None, eps=1e-15):
    """
    probs: 各类别概率向量 (n_classes,)
    weights: 类别权重 (n_classes,)
    eps: 数值稳定项
    """
    probs = np.clip(probs, eps, 1-eps)  # 防止零概率
    weights = np.ones_like(probs) if weights is None else weights

    # 对数空间计算
    log_weighted = 2 * np.log(probs) + np.log(weights)
    gini = 1 - np.exp(logsumexp(log_weighted))
    return max(gini, 0)  # 保证非负

from sklearn.tree import DecisionTreeClassifier

class WeightedGiniCriterion:
    def __init__(self, weights):
        self.weights = weights

    def __call__(self, y, sample_weight=None):
        class_counts = np.bincount(y, weights=sample_weight)
        probs = class_counts / class_counts.sum()
        return weighted_gini(probs, self.weights)

# 使用示例
tree = DecisionTreeClassifier(criterion=WeightedGiniCriterion(weights=[1, 100]),  # 少数类权重放大
    max_depth=5
)

在 Kaggle 信用卡欺诈数据集（正负样本比 1:577）上的对比：