C4.5决策树实战：从数据集预处理到模型调优全流程解析

1次阅读

共计 2080 个字符，预计需要花费 6 分钟才能阅读完成。

C4.5 决策树是机器学习中经典的分类算法，相比 ID3 算法，它通过信息增益率选择特征，有效避免了偏向取值较多特征的问题。C4.5 适用于以下场景：

特征包含连续值和离散值混合的情况
数据集存在缺失值
需要可解释性强、可视化好的模型

信息增益率是 C4.5 的核心指标，计算公式为：

GainRatio(A) = Gain(A) / SplitInfo(A)

其中 Gain(A) 是信息增益，SplitInfo(A) 是分裂信息量（特征 A 的固有信息）。

处理缺失值的 3 种实用方法：

删除法（适合缺失较少时）
```
df.dropna(axis=0, inplace=True)
```

填充法（常用众数 / 中位数）

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='median')
df_filled = imputer.fit_transform(df)

概率分配法（保留缺失作为特殊值）

最佳实践步骤：

排序连续特征值
计算候选分割点（通常取相邻值中点）
选择使信息增益率最大的分割点
递归处理子区间

import numpy as np
from math import log2

def calc_entropy(y):
    """计算信息熵"""
    classes, counts = np.unique(y, return_counts=True)
    prob = counts / len(y)
    return -np.sum(prob * np.log2(prob))

def calc_info_gain_ratio(X, y, feature_idx):
    """计算信息增益率"""
    # 计算原始熵
    total_entropy = calc_entropy(y)

    # 计算按特征分割后的条件熵
    values, counts = np.unique(X[:, feature_idx], return_counts=True)
    cond_entropy = 0
    split_info = 0

    for v, c in zip(values, counts):
        subset_y = y[X[:, feature_idx] == v]
        p = c / len(X)
        cond_entropy += p * calc_entropy(subset_y)
        split_info += -p * log2(p) if p > 0 else 0

    info_gain = total_entropy - cond_entropy
    return info_gain / split_info if split_info > 0 else 0

关键参数说明：

from sklearn.tree import DecisionTreeClassifier

# 主要调优参数
params = {
    'criterion': 'entropy',  # 使用信息熵
    'splitter': 'best',     # 最优分割
    'max_depth': 5,         # 控制树深度防过拟合
    'min_samples_split': 10, # 最小分裂样本数
    'min_impurity_decrease': 0.01  # 最小纯度提升
}

model = DecisionTreeClassifier(**params)

识别方法：
– 训练集准确率远高于测试集
– 决策树分支过于复杂

预防措施：
– 设置 max_depth 等预剪枝参数
– 后剪枝（CCP 方法）
– 交叉验证选择最优参数

使用 class_weight 参数
上采样 / 下采样
改用 AUC 等不平衡评估指标

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import plot_tree

# 加载数据
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.3)

# 训练模型
dtc = DecisionTreeClassifier(criterion='entropy', max_depth=3)
dtc.fit(X_train, y_train)

# 可视化
plt.figure(figsize=(12,8))
plot_tree(dtc, feature_names=iris.feature_names, 
          class_names=iris.target_names, filled=True)
plt.show()