深入解析：CART树与决策树的本质区别及适用场景

1次阅读

共计 2442 个字符，预计需要花费 7 分钟才能阅读完成。

在机器学习项目中，决策树类模型的误用非常常见。我经常看到同事在处理多分类文本数据时直接套用 CART 树，结果导致模型性能大幅下降。这种误用的根本原因在于没有理解不同类型决策树的核心差异。

最常见的错误场景包括：

将 CART 树直接用于高基数类别特征（如用户 ID）
在需要特征重要性排序时却使用了 ID3 算法
对连续值特征不做离散化处理就使用传统决策树

让我们先用表格清晰对比三种主流决策树算法的关键差异：

维度	ID3	C4.5	CART
分裂准则	信息增益	信息增益比	Gini 系数 / 均方差
处理特征类型	仅分类	分类 + 连续	分类 + 连续
缺失值处理	不支持	支持	支持
树结构	多叉树	多叉树	二叉树
输出类型	分类	分类	分类 + 回归

Gini 系数的数学本质是衡量数据的不纯度，计算公式为：

$$Gini(p) = 1 – \sum_{k=1}^K p_k^2$$

而信息增益基于信息熵的概念：

$$H(D) = -\sum_{k=1}^K p_k \log_2 p_k$$

用 numpy 计算 Gini 系数的示例：

import numpy as np

def gini_impurity(y):
    _, counts = np.unique(y, return_counts=True)
    probabilities = counts / len(y)
    return 1 - np.sum(probabilities**2)

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

# 加载数据
data = load_breast_cancer()
X, y = data.data, data.target

# 离散化连续特征
from sklearn.preprocessing import KBinsDiscretizer
discretizer = KBinsDiscretizer(n_bins=5, encode='ordinal', strategy='quantile')
X_discrete = discretizer.fit_transform(X)

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X_discrete, y, test_size=0.2, random_state=42)

from sklearn.tree import DecisionTreeClassifier, export_text
from sklearn.metrics import accuracy_score

# 传统决策树(ID3/C4.5)
dt = DecisionTreeClassifier(criterion='entropy', max_depth=3)
dt.fit(X_train, y_train)
print("Decision Tree Accuracy:", 
      accuracy_score(y_test, dt.predict(X_test)))

# CART 树
cart = DecisionTreeClassifier(criterion='gini', max_depth=3)
cart.fit(X_train, y_train)
print("CART Accuracy:", 
      accuracy_score(y_test, cart.predict(X_test)))

import matplotlib.pyplot as plt

depths = range(1, 11)
dt_scores = []
cart_scores = []

for depth in depths:
    dt = DecisionTreeClassifier(criterion='entropy', max_depth=depth)
    cart = DecisionTreeClassifier(criterion='gini', max_depth=depth)

    dt.fit(X_train, y_train)
    cart.fit(X_train, y_train)

    dt_scores.append(accuracy_score(y_test, dt.predict(X_test)))
    cart_scores.append(accuracy_score(y_test, cart.predict(X_test)))

plt.plot(depths, dt_scores, label='Decision Tree')
plt.plot(depths, cart_scores, label='CART')
plt.xlabel('Tree Depth')
plt.ylabel('Accuracy')
plt.legend()
plt.show()

需要特征重要性排序时（CART 的特征重要性计算更稳定）
处理连续值特征较多的数据集
需要同时支持分类和回归任务

处理高基数类别特征时
数据集中分类特征占主导
需要更直观的可解释性

必须使用代价复杂度剪枝 (CCP) 来防止过拟合：

path = cart.cost_complexity_pruning_path(X_train, y_train)
ccp_alphas = path.ccp_alphas

clfs = []
for ccp_alpha in ccp_alphas:
    clf = DecisionTreeClassifier(ccp_alpha=ccp_alpha)
    clf.fit(X_train, y_train)
    clfs.append(clf)

经过以上分析和实践，我们可以清楚地看到：