决策树与CART树的深度对比：如何根据业务场景选择最优模型

1次阅读

共计 2222 个字符，预计需要花费 6 分钟才能阅读完成。

决策树是一种通过递归分割数据实现分类或回归的监督学习算法，其结构类似流程图，每个内部节点表示特征判断，分支表示判断结果，叶节点表示预测结果。CART（Classification and Regression Trees）是决策树的一种特殊实现，由 Breiman 等人于 1984 年提出，其核心特点是始终生成二叉树结构，既可处理分类问题也可处理回归问题。

这两种算法在机器学习中占据重要地位：
– 决策树因其直观易懂、无需特征缩放等特性，常作为基线模型
– CART 树因其高效的二分特性，成为 GBDT、随机森林等集成算法的基础组件

传统决策树 ：
ID3 算法仅支持分类任务
C4.5 算法通过扩展支持连续值处理，但仍以分类为主
CART 树 ：
同时支持分类（使用 Gini 系数）和回归（使用平方误差）
通过改变分裂准则即可切换任务类型

决策树 ：
ID3 采用信息增益（易偏向多值特征）
C4.5 采用信息增益比（解决 ID3 偏差）
CART 树 ：
分类任务：Gini 系数 $\text{Gini}(D) = 1 – \sum_{k=1}^K p_k^2$
回归任务：最小化平方误差 $\min_{j,s}\left[\min_{c_1}\sum_{x_i\in R_1(j,s)}(y_i – c_1)^2 + \min_{c_2}\sum_{x_i\in R_2(j,s)}(y_i – c_2)^2\right]$

决策树 ：
多叉树结构（特征有多少取值就分多少叉）
需要额外处理连续特征离散化
CART 树 ：
强制二叉树结构（即使类别超过两种）
自动处理连续特征（通过寻找最佳分割点）

假设有 n 个样本，m 个特征，树深度为 d：
– 决策树 ：
– 预处理阶段需对连续特征离散化（额外开销）
– 多叉树导致内存消耗更大
– CART 树 ：
– 二叉树结构降低空间复杂度
– 最佳分割点查找需要排序（平均 O(nlogn)）

from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt

# 加载数据
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.3)

# 构建模型（使用信息熵准则）clf = DecisionTreeClassifier(criterion='entropy', max_depth=3)
clf.fit(X_train, y_train)

# 特征重要性可视化
plt.barh(range(4), clf.feature_importances_, tick_label=iris.feature_names)
plt.title('Feature Importance')
plt.show()

from sklearn.tree import DecisionTreeRegressor
from sklearn.datasets import fetch_california_housing
import numpy as np

# 加载数据
housing = fetch_california_housing()
X, y = housing.data, housing.target

# 构建回归树
reg = DecisionTreeRegressor(max_depth=4, min_samples_leaf=10)
reg.fit(X, y)

# 评估节点分裂效果
print('MSE:', np.mean((reg.predict(X) - y)**2))