CART决策树实战：从数据预处理到模型部署的完整指南

1次阅读

共计 2398 个字符，预计需要花费 6 分钟才能阅读完成。

在结构化数据建模场景中，开发者常面临两个核心问题：

特征工程耗时：传统手工特征筛选和转换需要大量领域知识，尤其在金融风控等场景中，特征组合的复杂度呈指数增长。某银行反欺诈案例显示，数据科学家 60% 时间消耗在特征衍生上。
模型解释性困境：虽然深度学习模型在准确率上有优势，但当业务方追问 ” 为什么拒绝这笔贷款 ” 时，多层神经网络的决策过程难以用人类语言描述。某电商平台的 A / B 测试显示，可解释性差的模型落地后业务采纳率降低 47%。

ID3 (1986): 采用信息增益 $IG(D,A) = H(D) – H(D|A)$，但会偏好取值多的特征
C4.5 (1993): 引入增益率 $GR(D,A) = \frac{IG(D,A)}{IV(A)}$ 解决 ID3 偏差，支持连续值
CART (1984): 使用基尼系数 $Gini(D) = 1 – \sum_{k=1}^K p_k^2$，支持回归任务

维度	CART	C4.5
分裂标准	基尼系数	信息增益率
输出类型	分类 / 回归	仅分类
缺失值处理	自动分配	需预处理
计算效率	O(n_features)	O(n_features^2)

from sklearn.preprocessing import StandardScaler
from sklearn.impute import SimpleImputer

# 数值型特征标准化
num_transformer = Pipeline(steps=[('imputer', SimpleImputer(strategy='median')),
    ('scaler', StandardScaler())
])

# 类别型特征编码
cat_transformer = Pipeline(steps=[('imputer', SimpleImputer(strategy='constant', fill_value='missing')),
    ('onehot', OneHotEncoder(handle_unknown='ignore'))
])

# 列转换器组装
preprocessor = ColumnTransformer(
    transformers=[('num', num_transformer, numerical_cols),
        ('cat', cat_transformer, categorical_cols)
    ])

from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import GridSearchCV

# 基础模型
clf = DecisionTreeClassifier(criterion='gini', random_state=42)

# 参数网格
param_grid = {'max_depth': [3, 5, 7, None],
    'min_samples_split': [2, 5, 10],
    'min_impurity_decrease': [0.0, 0.01, 0.05]
}

# 网格搜索
search = GridSearchCV(clf, param_grid, cv=5, scoring='f1_weighted')
search.fit(X_train, y_train)

# 最佳参数输出
print(f'Best params: {search.best_params_}')

方案	加载速度	文件大小	跨语言支持
Pickle	快	大	仅 Python
ONNX	中	小	多语言
PMML	慢	中	多语言

# 测试 10 万条样本预测耗时
+---------------+------------+-------------+
| 最大树深度   | 内存占用   | 平均延迟(ms)|
+---------------+------------+-------------+
| 3             | 12MB       | 0.8         |
| 5             | 18MB       | 1.2         |
| 10            | 47MB       | 3.1         |
| None          | 210MB      | 9.7         |
+---------------+------------+-------------+

# 类别权重设置
class_weight = {0: 1, 1: 5}  # 少数类样本权重提升 5 倍

# 代价敏感学习
clf = DecisionTreeClassifier(class_weight='balanced')

from sklearn.callbacks import EarlyStopping

# 自定义早停条件
def monitor(cv_results):
    return cv_results['test_score'][-1] - cv_results['test_score'][-3] < 0.01

search = GridSearchCV(..., callback=monitor)

import graphviz
from sklearn.tree import export_graphviz

dot_data = export_graphviz(
    decision_tree=clf,
    out_file=None,
    feature_names=feature_names,
    class_names=['bad', 'good'],
    filled=True,
    rounded=True
)
graph = graphviz.Source(dot_data)
graph.render('decision_tree')