C4.5与CART算法对比：如何构建最优决策树

1次阅读

没有评论

共计 1917 个字符，预计需要花费 5 分钟才能阅读完成。

决策树是机器学习中一种简单但强大的算法，常用于分类和回归任务。它的优点包括易于理解和解释、不需要复杂的特征缩放、能够处理数值和类别数据等。在实际应用中，决策树经常用于：

客户流失预测
信用风险评估
医疗诊断
推荐系统

决策树通过一系列 if-then 规则将数据逐步划分，最终形成树形结构。构建高效决策树的关键在于选择合适的分裂标准和剪枝策略。

C4.5 算法使用 信息增益比 作为分裂标准，计算公式为：

$$\text{GainRatio}(D,A) = \frac{\text{Gain}(D,A)}{\text{SplitInfo}(D,A)}$$

其中 Gain(D,A)是特征 A 的信息增益，SplitInfo(D,A)是特征 A 的分裂信息量。这种标准化处理可以避免偏好取值较多的特征。

CART 算法则使用 基尼系数 作为分裂标准：

$$\text{Gini}(D) = 1 – \sum_{k=1}^{K}p_k^2$$

基尼系数计算更简单，计算量相对较小。

C4.5 算法可以自动处理连续值特征，通过寻找最佳分割点将连续值离散化。对于缺失值，C4.5 采用概率分布的方式处理。

CART 算法同样可以处理连续值，但处理缺失值的方式略有不同，它使用替代分裂 (surrogate splits) 的方法。

C4.5 采用 悲观剪枝 ，基于统计显著性检验来剪枝。CART 则使用 代价复杂度剪枝，通过最小化代价复杂度函数来剪枝。

from sklearn.tree import DecisionTreeClassifier, plot_tree
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt

# 加载数据
iris = load_iris()
X, y = iris.data, iris.target

# 创建 CART 分类器
# criterion='gini' 表示使用基尼系数
cart = DecisionTreeClassifier(criterion='gini', max_depth=3)
cart.fit(X, y)

# 可视化决策树
plt.figure(figsize=(12,8))
plot_tree(cart, filled=True, feature_names=iris.feature_names, 
          class_names=iris.target_names)
plt.show()

scikit-learn 中没有直接实现 C4.5，但我们可以近似使用信息增益：

# 使用信息增益(近似 C4.5)
c45_like = DecisionTreeClassifier(criterion='entropy', max_depth=3)
c45_like.fit(X, y)

# 可视化
plt.figure(figsize=(12,8))
plot_tree(c45_like, filled=True, feature_names=iris.feature_names,
          class_names=iris.target_names)
plt.show()