决策树实战：如何用Gini系数优化CART模型分类性能

1次阅读

没有评论

共计 1856 个字符，预计需要花费 5 分钟才能阅读完成。

在机器学习分类任务中，CART 决策树是一种常用且高效的算法。然而，在实际应用中，特别是面对类别极度不平衡的数据时，传统的 Gini 系数计算方式往往会带来一些问题。

类别不平衡问题：当数据中存在极端类别不平衡（如 1:100）时，传统的 Gini 系数计算会偏向于多数类。这导致分裂节点时，模型更倾向于忽略少数类，从而影响分类性能。
数值稳定性问题：由于 Gini 系数涉及概率的平方和，某些情况下（如概率极低时），浮点运算可能导致数值下溢，影响计算精度。

针对上述问题，我们提出以下改进方案：

加权 Gini 系数：引入类别权重，公式为：
$$ Gini_w = 1 – \Sigma(w_i * (p_i)^2) $$
其中，$w_i$ 为类别权重，可以根据业务需求调整。
对数空间计算 ：为了避免数值下溢，使用对数变换和logsumexp 技巧处理小概率值。
适用场景对比：
信息增益：适用于决策树中的 ID3 和 C4.5 算法，但对类别多的特征有偏好。
Gini 系数：计算速度快，适用于 CART 算法，但对类别不平衡敏感。
卡方检验：适用于离散特征，但对样本量要求较高。

以下是 Python 实现加权 Gini 系数和对数空间计算的代码示例：

import numpy as np

def weighted_gini(y, sample_weight=None, class_weight=None):
    if sample_weight is None:
        sample_weight = np.ones_like(y)

    if class_weight is None:
        class_weight = np.ones(len(np.unique(y)))

    # 计算每个类别的加权频率
    classes, counts = np.unique(y, return_counts=True)
    weighted_counts = np.zeros(len(classes))

    for i, c in enumerate(classes):
        weighted_counts[i] = np.sum(sample_weight[y == c]) * class_weight[i]

    # 计算概率
    total = np.sum(weighted_counts)
    probs = weighted_counts / total

    # 对数空间计算
    log_probs = np.log(probs)
    log_sum = np.logaddexp.reduce(2 * log_probs)
    gini = 1 - np.exp(log_sum)

    return gini

要将其接入 sklearn 的DecisionTreeClassifier，可以通过自定义 criterion 实现：

from sklearn.tree import DecisionTreeClassifier

class WeightedGiniCriterion:
    def __init__(self, class_weight=None):
        self.class_weight = class_weight

    def __call__(self, y, sample_weight=None):
        return weighted_gini(y, sample_weight, self.class_weight)

# 使用自定义 criterion
tree = DecisionTreeClassifier(criterion=WeightedGiniCriterion(class_weight={0: 1, 1: 100}))

我们在 Kaggle 信用卡欺诈数据集上进行了测试，结果如下：