使用CHAID决策树代码解决分类问题的实战指南

1次阅读

共计 1848 个字符，预计需要花费 5 分钟才能阅读完成。

CHAID（Chi-squared Automatic Interaction Detector）是一种基于卡方检验的决策树算法，主要用于分类问题。与传统决策树不同，CHAID 通过统计检验（卡方检验、F 检验等）来选择最佳分裂特征，特别适合处理类别型变量。

CHAID 的核心优势在于：

可自动处理多路分裂（非二叉树结构）
对类别型变量友好，无需额外编码
结果具有高度可解释性
能有效处理缺失值

分裂准则：
CHAID 使用卡方检验 / F 检验
CART 使用基尼系数 / 信息增益
树结构：
CHAID 支持多路分裂
CART 严格二叉树
变量类型：
CHAID 原生支持类别变量
CART 需要独热编码

剪枝方式：
CHAID 通过显著性检验控制生长
ID3 容易过拟合，需后剪枝
缺失值处理：
CHAID 有专门处理机制
ID3 无内置处理

import pandas as pd
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
import statsmodels.api as sm

# 模拟数据生成
data = {'age': ['<20', '20-30', '>30', '<20', '20-30', '>30'],
    'income': ['low', 'medium', 'high', 'low', 'high', 'medium'],
    'buys': ['no', 'yes', 'yes', 'no', 'yes', 'no']
}
df = pd.DataFrame(data)

# CHAID 实现（使用 statsmodels）def chaid_tree(df, target, predictors, alpha=0.05):
    """
    简易 CHAID 实现
    :param df: 输入 DataFrame
    :param target: 目标变量名
    :param predictors: 特征列表
    :param alpha: 显著性水平
    """
    best_feature = None
    best_pvalue = 1.0

    # 遍历所有特征寻找最佳分裂
    for feature in predictors:
        contingency = pd.crosstab(df[feature], df[target])
        _, p, _, _ = sm.stats.chi2_contingency(contingency)

        if p < best_pvalue and p < alpha:
            best_pvalue = p
            best_feature = feature

    if best_feature:
        print(f"最佳分裂特征: {best_feature} (p={best_pvalue:.4f})")
        for value in df[best_feature].unique():
            subset = df[df[best_feature] == value]
            print(f"\n--- {best_feature} = {value} ---")
            print(subset[target].value_counts(normalize=True))
    else:
        print("未找到显著分裂特征")

# 使用示例
chaid_tree(df, 'buys', ['age', 'income'])