决策树实战：如何正确处理西瓜分类中的离散与连续数据

1次阅读

没有评论

共计 1699 个字符，预计需要花费 5 分钟才能阅读完成。

在机器学习中，决策树是一种常用的分类算法。但在实际应用中，我们经常会遇到数据集中同时包含离散型和连续型特征的情况。以西瓜分类为例：

离散特征：纹理（清晰、模糊、稍糊）、根蒂（蜷缩、稍蜷、硬挺）
连续特征：含糖量（0.01-0.2）、密度（0.9-1.1）

这种混合特征类型会带来以下挑战：

决策树的节点分裂方式不同：离散特征通常采用多路分裂，连续特征需要寻找最佳分割点
特征尺度差异大：连续特征的数值范围可能影响分裂点的选择
信息表达方式不同：离散特征需要编码，连续特征可能需要离散化

针对混合类型特征，常见处理方法有：

独热编码（One-Hot Encoding）
适用场景：低基数离散特征（类别数 <10）
优点：不引入特征间的关系假设
缺点：维度爆炸，不适用于高基数特征
分箱（Binning）
适用场景：连续特征离散化
优点：减少噪声影响，处理异常值
缺点：可能丢失信息，需要合理选择分箱数
特征二值化
适用场景：将连续特征转化为布尔值
优点：简化决策边界
缺点：信息损失严重

下面展示完整的 Python 实现流程：

import pandas as pd
from sklearn.tree import DecisionTreeClassifier
from sklearn.preprocessing import OneHotEncoder, KBinsDiscretizer
from sklearn.compose import ColumnTransformer

# 1. 加载数据（示例数据）data = {'texture': ['清晰', '模糊', '稍糊', '清晰'],  # 离散
    'sugar': [0.05, 0.12, 0.08, 0.15],        # 连续
    'density': [0.98, 1.05, 1.02, 0.99],      # 连续
    'label': [1, 0, 0, 1]                     # 好瓜 / 坏瓜
}
df = pd.DataFrame(data)

# 2. 定义预处理流水线
preprocessor = ColumnTransformer(
    transformers=[('cat', OneHotEncoder(), ['texture']),  # 离散特征独热编码
        ('num', KBinsDiscretizer(n_bins=3, encode='ordinal'), ['sugar', 'density'])  # 连续特征分箱
    ])

# 3. 应用预处理
X = preprocessor.fit_transform(df.drop('label', axis=1))
y = df['label']

# 4. 训练决策树
model = DecisionTreeClassifier(criterion='gini', max_depth=3)
model.fit(X, y)

# 5. 查看特征重要性
print(dict(zip(preprocessor.get_feature_names_out(), model.feature_importances_)))

关键参数说明：
– n_bins=3：将连续特征分为 3 个区间
– encode='ordinal'：输出整数值而非独热编码
– criterion='gini'：使用基尼系数作为分裂标准