如何用100组数据构建高效决策树：从数据预处理到模型优化

1次阅读

共计 2812 个字符，预计需要花费 8 分钟才能阅读完成。

当数据集仅有 100 组样本时，构建决策树会遇到几个典型问题：

过拟合风险高：树结构容易过度适应训练数据中的噪声
特征重要性评估不稳定：少量数据可能导致特征权重计算偏差
类别不平衡放大：小数据集中少数类样本可能被完全忽略

我曾在一个客户信用评估项目中遇到类似情况，原始数据只有 87 条记录，直接训练的决策树在测试集上准确率不足 60%。

ID3 算法：
仅支持离散特征
采用信息增益准则
容易偏向取值多的特征
不适合小数据集
C4.5 算法：
改进版使用信息增益比
支持连续特征离散化
对缺失值有处理机制
在小数据上表现相对稳定
CART 算法：
使用基尼系数
支持回归任务
默认采用二叉树结构
推荐作为小数据首选

# 示例：使用 scikit-learn 进行预处理
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.impute import SimpleImputer
from sklearn.compose import ColumnTransformer

# 假设数据包含数值型和类别型特征
num_features = ['age', 'income']
cat_features = ['gender', 'education']

# 构建预处理管道
preprocessor = ColumnTransformer(
    transformers=[('num', StandardScaler(), num_features),
        ('cat', OneHotEncoder(handle_unknown='ignore'), cat_features)
    ])

from sklearn.tree import DecisionTreeClassifier
from sklearn.feature_selection import SelectKBest, mutual_info_classif
from sklearn.model_selection import train_test_split

# 特征选择（基于互信息）selector = SelectKBest(score_func=mutual_info_classif, k=3)
X_selected = selector.fit_transform(X, y)

# 划分训练测试集（小数据建议提高测试比例）X_train, X_test, y_train, y_test = train_test_split(X_selected, y, test_size=0.3, random_state=42)

# 初始化决策树（限制深度防止过拟合）clf = DecisionTreeClassifier(
    criterion='gini',
    max_depth=3,
    min_samples_split=5,
    random_state=42
)

# 5 折交叉验证
from sklearn.model_selection import cross_val_score
scores = cross_val_score(clf, X_train, y_train, cv=5)
print(f"CV 准确率: {scores.mean():.2f} (±{scores.std():.2f})")

from sklearn.model_selection import GridSearchCV

param_grid = {'max_depth': [2, 3, 4],
    'min_samples_split': [2, 5, 10],
    'criterion': ['gini', 'entropy']
}

grid_search = GridSearchCV(
    estimator=clf,
    param_grid=param_grid,
    cv=3,
    n_jobs=-1
)
grid_search.fit(X_train, y_train)

print(f"最佳参数: {grid_search.best_params_}")
print(f"最佳分数: {grid_search.best_score_:.2f}")

基尼系数：
计算速度略快
偏向于分割出较大的分区
信息熵：
对类别分布更敏感
可能产生更平衡的树

在小数据上，我建议优先尝试基尼系数，因为它对数据波动更鲁棒。

预剪枝技术：
设置max_depth=3（根据特征数调整）
使用 min_samples_leaf=3 确保叶节点有足够样本

后剪枝：

from sklearn.tree import _tree

def prune_index(inner_tree, index, threshold):
    if inner_tree.value[index].min() < threshold:
        inner_tree.children_left[index] = _tree.TREE_LEAF
        inner_tree.children_right[index] = _tree.TREE_LEAF

import matplotlib.pyplot as plt

clf.fit(X_train, y_train)

# 获取特征重要性
importances = clf.feature_importances_
features = X.columns[selector.get_support()]

# 绘制条形图
plt.barh(features, importances)
plt.xlabel("Feature Importance")
plt.show()

可适当增加树深度（如max_depth=5）
考虑使用更复杂的剪枝策略
增加特征选择的数量（如 SelectKBest 的 k 值）

from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(
    n_estimators=50,
    max_features='sqrt',
    max_depth=3,
    random_state=42
)

# 小数据下建议使用 out-of-bag 评估
rf.fit(X_train, y_train)
print(f"OOB 分数: {rf.oob_score_:.2f}")

在这个客户信用评估项目中，经过上述优化后，模型准确率从 60% 提升到了 78%。关键收获是：