C4.5算法决策树：从原理到实战的机器学习入门指南

1次阅读

共计 1962 个字符，预计需要花费 5 分钟才能阅读完成。

C4.5 算法是 ID3 决策树的改进版本，主要解决 ID3 存在的三个关键缺陷：

连续属性处理 ：ID3 只能处理离散属性，而 C4.5 通过二分法将连续属性离散化。例如对年龄属性，会找到信息增益最大的分割点（如 age≤30）。

信息增益比 ：ID3 单纯使用信息增益倾向于选择取值多的属性，C4.5 引入分裂信息量（Split Information）作为惩罚项：

def calc_split_info(feature_values):
    _, counts = np.unique(feature_values, return_counts=True)
    proportions = counts / counts.sum()
    return -np.sum(proportions * np.log2(proportions))

缺失值处理 ：C4.5 可以处理包含缺失值的训练数据，通过概率分配将样本划分到所有子节点。

class DataPreprocessor:
    def __init__(self, max_bins=5):
        self.max_bins = max_bins  # 连续属性分箱数

    def fit_transform(self, X):
        """自动检测连续 / 离散属性并预处理"""
        self.numeric_cols = [i for i in range(X.shape[1]) 
                           if len(np.unique(X[:,i])) > self.max_bins]

        # 等频分箱处理连续属性
        for col in self.numeric_cols:
            X[:,col] = pd.qcut(X[:,col], q=self.max_bins, labels=False)
        return X

class TreeNode:
    def __init__(self, feature_idx=None, threshold=None, value=None):
        self.feature_idx = feature_idx  # 分裂特征索引
        self.threshold = threshold      # 连续属性分割阈值
        self.children = {}              # 子节点字典
        self.value = value              # 叶节点的类别值

def _build_tree(self, X, y, features):
    # 终止条件 1：所有样本属于同一类
    if len(np.unique(y)) == 1:
        return TreeNode(value=y[0])

    # 选择最佳分裂特征
    best_gain_ratio = -1
    best_feature = None

    for feature in features:
        if feature in self.numeric_cols:
            gain_ratio = self._calc_numeric_gain_ratio(X, y, feature)
        else:
            gain_ratio = self._calc_discrete_gain_ratio(X, y, feature)

        if gain_ratio > best_gain_ratio:
            best_gain_ratio = gain_ratio
            best_feature = feature

    # 创建新节点并递归构建子树
    node = TreeNode(feature_idx=best_feature)
    ...