CHAID决策树全解析：从算法原理到Python实战

1次阅读

共计 1743 个字符，预计需要花费 5 分钟才能阅读完成。

在银行信用卡审批场景中，我们常需要从数百个申请特征（如职业、收入范围、负债比等）中提取可解释的审批规则。传统逻辑回归模型虽然能给出概率预测，但业务人员更渴望类似 ” 如果年龄 <25 且无稳定工作→拒绝 ” 的明确规则。这正是 CHAID(Chi-squared Automatic Interaction Detection)的用武之地——它通过卡方检验自动发现类别变量间显著性关系，生成人类可读的决策路径。

CHAID 的核心是卡方独立性检验，其数学形式为：

$$\chi^2 = \sum\frac{(O_{ij}-E_{ij})^2}{E_{ij}}$$

其中 $O_{ij}$ 是观测频数，$E_{ij}$ 是期望频数。算法遍历所有可能的特征分裂点，选择 p 值最显著的分裂方案。例如在信用卡场景中，它会检验 ” 职业类型 ” 与 ” 是否违约 ” 的关联性：

计算不同职业群体的实际违约分布
与整体样本的期望分布对比
卡方值越大说明分裂越有意义

指标	CHAID	CART	C4.5
分裂准则	卡方检验	Gini 系数	信息增益率
变量类型	仅类别型	数值 / 类别	数值 / 类别
多叉树	支持	仅二叉树	仅二叉树
缺失值处理	需预处理	自动处理	自动处理

from sklearn.tree import DecisionTreeClassifier
from scipy.stats import chi2_contingency
import numpy as np

def auto_binning(data, target, max_bins=5):
    """基于卡方检验的自动分箱"""
    bins = []
    while len(bins) < max_bins:
        best_p = 1
        best_split = None
        # Monte Carlo 交叉验证
        for _ in range(100):
            split = np.random.quantile(data, np.random.rand())
            contingency = pd.crosstab(data <= split, target)
            _, p, _, _ = chi2_contingency(contingency)
            if p < best_p:
                best_p = p
                best_split = split
        bins.append(best_split)
    return sorted(bins)

安装 graphviz 后：

from sklearn.tree import export_graphviz
import graphviz

dot_data = export_graphviz(
    model,
    out_file=None,
    feature_names=X.columns,
    class_names=['Approved', 'Rejected'],
    filled=True,
    rounded=True
)
graph = graphviz.Source(dot_data)
graph.render('credit_decision')

生成的决策树会标注关键分裂阈值（如 ”Income ≤ $45,000″）。

对于像 ” 居住城市 ” 这类高基数类别变量，直接使用 CHAID 会导致过拟合。推荐采用 MDLP(Minimum Description Length Principle)进行预合并：

计算每个类别的目标变量分布
递归合并统计相似的类别
直到信息损失超过阈值

通过代价复杂度剪枝 (CCP) 控制树深度：

alphas = model.cost_complexity_pruning_path(X_train, y_train).ccp_alphas
pruned_models = [DecisionTreeClassifier(ccp_alpha=alpha)
    for alpha in alphas
]
# 选择验证集表现最佳的 alpha

虽然 CHAID 具有优秀的可解释性，但在稳定性上不如随机森林等集成方法。一个可行的改进方向是：