决策树算法实战：手把手教你用Python实现C4.5构建步骤

1次阅读

没有评论

共计 1318 个字符，预计需要花费 4 分钟才能阅读完成。

决策树是一种经典的分类方法，它通过一系列规则对数据进行划分，最终形成树状结构。C4.5 算法是 ID3 的改进版本，主要解决了 ID3 的两个缺陷：

无法处理连续值特征
倾向于选择取值较多的特征（信息增益偏向多值属性）

C4.5 通过引入信息增益比和连续值离散化技术，使得决策树更加实用。在实际业务中，决策树常用于客户分群、风险评估等场景，因其可解释性强而备受青睐。

信息熵 ：度量样本集合纯度的指标
```
H(D) = -Σ(p_k * log2(p_k))
```
条件熵 ：已知特征 A 的条件下，数据集 D 的经验条件熵
```
H(D|A) = Σ(|D_v|/|D| * H(D_v))
```

C4.5 使用信息增益比代替信息增益：

Gain_ratio(D,A) = Gain(D,A) / SplitInfo(D,A)

其中分裂信息：

SplitInfo(D,A) = -Σ(|D_v|/|D| * log2(|D_v|/|D|))

import pandas as pd
import numpy as np

# 示例：处理连续值
def discretize_continuous(feature, method='equal_width', bins=3):
    if method == 'equal_width':
        return pd.cut(feature, bins=bins)
    elif method == 'equal_freq':
        return pd.qcut(feature, q=bins)

class C45DecisionTree:
    def __init__(self, epsilon=0.1, max_depth=5):
        self.epsilon = epsilon  # 信息增益比阈值
        self.max_depth = max_depth

    def calc_entropy(self, y):
        # 计算信息熵实现
        pass

    def choose_best_feature(self, X, y):
        # 特征选择实现（比较信息增益比）pass

    def build_tree(self, X, y, depth=0):
        # 递归建树主逻辑
        if depth >= self.max_depth or len(set(y)) == 1:
            return Node(results=y.mode()[0])

        best_feature = self.choose_best_feature(X, y)
        # 递归构建子树...