深入解析CART决策树理论：从数学原理到工程实践

1次阅读

共计 1452 个字符，预计需要花费 4 分钟才能阅读完成。

CART 决策树在风控评分卡中用于客户信用分层，通过特征分割实现差异化定价；在用户分群场景下，根据行为特征自动划分高价值用户群体；在医疗诊断领域辅助判断疾病风险因素的重要性排序。

定义样本集合 $D$ 中第 $k$ 类样本占比为 $p_k$，则：

基尼系数：
$$Gini(D) = 1-\sum_{k=1}^{K}p_k^2$$
反映从数据集随机抽取两个样本类别不一致的概率
信息熵：
$$H(D) = -\sum_{k=1}^{K}p_k\log_2 p_k$$
表征系统不确定性的度量

设特征 $A$ 将数据集划分为 $D_1,D_2$，分裂条件为：
$$\arg\min_{A}\left(\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)\right)$$
该优化目标可通过拉格朗日乘子法证明其凸性。

def split_node(X: np.ndarray, y: np.ndarray) -> Tuple[float, int]:
    """
    X: 特征矩阵 (n_samples, n_features)
    y: 标签向量 (n_samples,)
    返回: (最佳分裂阈值, 特征索引)
    """best_gini = float('inf')
    split_idx, split_val = -1, None

    for feat_idx in range(X.shape[1]):
        values = np.unique(X[:, feat_idx])
        for threshold in values:
            left_mask = X[:, feat_idx] <= threshold
            gini = weighted_gini(y[left_mask], y[~left_mask])
            if gini < best_gini:
                best_gini = gini
                split_idx, split_val = feat_idx, threshold
    return split_val, split_idx

def feature_importance(tree: DecisionTree) -> np.ndarray:
    """向量化计算特征重要性"""
    importance = np.zeros(n_features)
    for node in tree.nodes:
        if node.is_leaf:
            continue
        # 按分裂时的样本量加权
        importance[node.feature] += node.n_samples * node.gini_reduction
    return importance / importance.sum()