CART算法实战：如何用决策树解决分类问题（附完整例题解析）

1次阅读

没有评论

共计 1716 个字符，预计需要花费 5 分钟才能阅读完成。

在机器学习领域，决策树是一种非常直观且易于理解的算法，而 CART（Classification and Regression Trees）算法是其中最常用的方法之一。然而，在实际应用中，构建决策树时常常会遇到一些挑战：

特征选择困惑：面对多个特征时，如何选择最优划分点往往会让人感到困惑。
连续值处理：连续型特征的分裂点选择较为复杂，需要合理划分区间。
过拟合风险：决策树容易过拟合训练数据，导致泛化能力下降。

CART 算法与其他决策树算法（如 ID3 和 C4.5）相比，具有以下优势：

使用 Gini 系数而非信息增益：Gini 系数计算更高效，且不需要对数运算。
支持回归任务：CART 不仅可以处理分类问题，还能用于回归任务。
二叉树结构：CART 生成的决策树是二叉树，简化了模型结构。

假设我们有一个简单的数据集，包含两个特征（年龄、收入）和一个目标变量（是否购买产品）。

年龄	收入	购买
青年	低	否
青年	高	是
中年	低	否
中年	高	是
老年	低	否
老年	高	否

Gini 系数的计算公式为：

$$
Gini(D) = 1 – \sum_{i=1}^k p_i^2
$$

其中，$p_i$ 是第 $i$ 类样本在数据集 $D$ 中的比例。

我们需要计算每个特征的分裂点，选择 Gini 系数最小的作为最优划分点。

按年龄划分：
青年：Gini = 0.5
中年：Gini = 0.5
老年：Gini = 0
按收入划分：
低：Gini = 0
高：Gini = 0.444

显然，按“收入 = 低”划分时 Gini 系数最低，因此选择“收入”作为第一分裂点。

from sklearn.tree import DecisionTreeClassifier
import matplotlib.pyplot as plt
from sklearn import tree

# 示例数据
X = [[0, 0], [0, 1], [1, 0], [1, 1], [2, 0], [2, 1]]  # 年龄：0- 青年，1- 中年，2- 老年；收入：0- 低，1- 高
y = [0, 1, 0, 1, 0, 0]  # 0- 否，1- 是

# 创建决策树模型
clf = DecisionTreeClassifier(criterion='gini', max_depth=3)
clf.fit(X, y)

# 可视化决策树
plt.figure(figsize=(12,8))
tree.plot_tree(clf, feature_names=['年龄', '收入'], class_names=['否', '是'], filled=True)
plt.show()

剪枝是防止过拟合的重要手段，分为预剪枝和后剪枝：

预剪枝 ：在树生长过程中提前停止分裂，如设置max_depth 或min_samples_split。
后剪枝：先生成完整树，再通过交叉验证剪去不重要的分支。

分类变量：直接按类别划分。
连续变量：需要找到最佳分裂点，通常按中位数或均值划分。

样本不均衡时，可以通过设置 class_weight 参数调整权重：

clf = DecisionTreeClassifier(class_weight='balanced')

树越深，计算资源消耗越大，但可能过拟合。可以通过网格搜索找到最佳参数组合：

from sklearn.model_selection import GridSearchCV

param_grid = {'max_depth': [3, 5, 7], 'min_samples_split': [2, 5, 10]}
grid_search = GridSearchCV(DecisionTreeClassifier(), param_grid, cv=5)
grid_search.fit(X, y)