C4.5算法决策树实战：解决分类问题中的信息增益比陷阱

1次阅读

共计 1897 个字符，预计需要花费 5 分钟才能阅读完成。

在决策树算法中，ID3 和 C4.5 都依赖信息熵来衡量数据的不确定性。信息熵的计算公式为：

import numpy as np

def entropy(labels):
    _, counts = np.unique(labels, return_counts=True)
    probabilities = counts / len(labels)
    return -np.sum(probabilities * np.log2(probabilities))

ID3 算法 ：单纯使用信息增益选择特征，容易偏向取值多的特征
C4.5 改进 ：引入信息增益比，消除了特征取值数目带来的偏差

处理连续特征是 C4.5 的核心优势。以下是二分法的 Python 实现：

def find_best_split(continuous_feature, labels):
    # 1. 排序特征值
    sorted_idx = np.argsort(continuous_feature)
    sorted_feature = continuous_feature[sorted_idx]
    sorted_labels = labels[sorted_idx]

    best_gain_ratio = -1
    best_split = None

    # 2. 遍历所有可能分割点
    for i in range(1, len(sorted_feature)):
        if sorted_feature[i] == sorted_feature[i-1]:
            continue

        # 计算当前分割点的信息增益比
        split_value = (sorted_feature[i] + sorted_feature[i-1]) / 2
        left_labels = sorted_labels[:i]
        right_labels = sorted_labels[i:]

        current_gain_ratio = gain_ratio(sorted_labels, left_labels, right_labels)

        # 3. 更新最佳分割点
        if current_gain_ratio > best_gain_ratio:
            best_gain_ratio = current_gain_ratio
            best_split = split_value

    return best_split, best_gain_ratio

以下是使用 sklearn 实现 C4.5 决策树的示例代码：

from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import GridSearchCV

# 定义参数网格
param_grid = {'max_depth': [3, 5, 7, None],
    'min_samples_split': [2, 5, 10],
    'criterion': ['entropy']
}

# 网格搜索调优
grid_search = GridSearchCV(DecisionTreeClassifier(),
    param_grid,
    cv=5,
    scoring='accuracy'
)
grid_search.fit(X_train, y_train)

print(f"最佳参数: {grid_search.best_params_}")
print(f"验证集准确率: {grid_search.best_score_:.4f}")

使用 class_weight 参数调整类别权重
采用过采样 / 欠采样技术平衡数据集
考虑使用 F1-score 作为评估指标

设置 max_depth 限制树深度
使用 min_samples_leaf 减少叶节点
对连续特征进行分桶处理

import matplotlib.pyplot as plt

features = X.columns
importances = model.feature_importances_

plt.figure(figsize=(10, 6))
plt.barh(features, importances)
plt.xlabel("Feature Importance")
plt.title("C4.5 Feature Importance")
plt.show()