CART决策树分类预测：从原理到工程实践的最佳指南

1次阅读

没有评论

共计 2051 个字符，预计需要花费 6 分钟才能阅读完成。

在分类任务中，我们常常面临选择模型的困境。线性模型（如 Logistic Regression）和树模型（如 CART 决策树）各有优劣：

线性模型 适合特征与目标呈线性关系的场景，但对非线性关系捕捉能力有限
树模型 天然适合处理非线性关系，且对特征缺失值、异常值更鲁棒

CART 决策树（Classification and Regression Trees）特别适合以下场景：

数据中包含混合类型特征（数值型 + 类别型）
存在缺失值时，CART 可以通过代理分裂 (surrogate splits) 处理
类别不平衡情况下，通过 class_weight 参数调整

CART 与 ID3/C4.5 的主要区别在于分裂标准：

ID3 使用信息增益：$IG(D_p) = I(D_p) – \sum_{j=1}^k \frac{N_j}{N_p}I(D_j)$
C4.5 使用信息增益比
CART 使用基尼系数：$Gini(D) = 1 – \sum_{i=1}^c (p_i)^2$

# 1. 数据预处理
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder, StandardScaler

preprocessor = ColumnTransformer(
    transformers=[('num', StandardScaler(), numerical_features),
        ('cat', OneHotEncoder(), categorical_features)
    ])

# 2. 模型训练
from sklearn.tree import DecisionTreeClassifier

tree = DecisionTreeClassifier(
    criterion='gini', 
    max_depth=3,
    min_samples_split=20
)

# 3. 可视化
from sklearn.tree import plot_tree
import matplotlib.pyplot as plt

plt.figure(figsize=(12,8))
plot_tree(tree, feature_names=feature_names, class_names=class_names, filled=True)
plt.show()

# 4. 特征重要性
importances = tree.feature_importances_
indices = np.argsort(importances)[::-1]

print("Feature ranking:")
for f in range(X.shape[1]):
    print(f"{f+1}. {feature_names[indices[f]]}: {importances[indices[f]]:.4f}")

from sklearn.model_selection import GridSearchCV

params = {'ccp_alpha': [0.001, 0.01, 0.1]}
grid = GridSearchCV(DecisionTreeClassifier(), param_grid=params, cv=5)
grid.fit(X_train, y_train)

print(f"Best ccp_alpha: {grid.best_params_['ccp_alpha']}")

# 方法 1：调整类别权重
tree = DecisionTreeClassifier(class_weight='balanced')

# 方法 2：过采样 / 欠采样
from imblearn.over_sampling import SMOTE

smote = SMOTE()
X_res, y_res = smote.fit_resample(X_train, y_train)