CART决策树案例实战：从特征工程到模型调优的全流程解析

1次阅读

共计 1629 个字符，预计需要花费 5 分钟才能阅读完成。

在金融风控场景中，CART 决策树能直观展示规则逻辑，帮助风控专家理解模型拒绝原因；医疗诊断领域则依赖其可解释性辅助医生定位关键病理特征；工业界更看重它无需特征缩放、天然处理混合类型数据的优势。

缺失值简单填充均值会导致分布偏移，建议用SimpleImputer(strategy='median')+ 标记缺失状态
类别型特征直接输入会引发 ValueError，必须通过OrdinalEncoder 或独热编码处理
数据泄漏问题：所有预处理步骤都应封装到 Pipeline 中，避免交叉验证时污染训练集

from sklearn.utils import class_weight
classes = np.unique(y_train)
weights = class_weight.compute_class_weight('balanced', classes=classes, y=y_train)
model = DecisionTreeClassifier(class_weight=dict(zip(classes, weights)))

# 完整 Pipeline 示例
from sklearn.pipeline import make_pipeline
preprocessor = ColumnTransformer(
    transformers=[('num', StandardScaler(), numeric_features),
        ('cat', OneHotEncoder(), categorical_features)
    ])

pipeline = make_pipeline(
    preprocessor,
    DecisionTreeClassifier(criterion='gini', random_state=42)
)

评估指标	基尼系数	信息增益
训练集准确率	0.92	0.91
测试集 F1-score	0.88	0.87

from sklearn.model_selection import GridSearchCV

param_grid = {'decisiontreeclassifier__max_depth': [3, 5, 7, None],
    'decisiontreeclassifier__min_samples_split': [2, 5, 10]
}

gs = GridSearchCV(pipeline, param_grid, cv=5, scoring='roc_auc')
gs.fit(X_train, y_train)

# 需先安装 graphviz
conda install python-graphviz

from sklearn.tree import export_graphviz
export_graphviz(
    model,
    out_file='tree.dot',
    feature_names=feature_names,
    class_names=True,
    rounded=True
)