决策树实战：西瓜分类中离散与连续数据的处理策略

1次阅读

共计 1583 个字符，预计需要花费 4 分钟才能阅读完成。

在机器学习分类任务中，数据类型的选择和处理直接影响模型的性能。以西瓜分类为例，我们通常会遇到两种类型的数据：离散数据和连续数据。离散数据如西瓜的纹理（清晰、稍糊、模糊），连续数据如含糖量（0.1%~20%）。如果在建模过程中混淆了这两种数据类型，可能会导致以下问题：

模型无法正确理解特征的含义，导致分裂点选择不当
信息增益计算错误，影响特征重要性评估
模型泛化能力下降，在新数据上表现不佳

决策树在处理离散和连续数据时，采用了不同的分裂策略：

离散数据的分裂方式
采用基于类别的分裂，每个分支对应一个类别
对于有序离散数据，可以采用类似连续数据的分割方式
典型应用：西瓜色泽（青绿、乌黑、浅白）
连续数据的分裂方式
需要寻找最佳分割点，将数据分为两部分
通过信息增益或基尼系数评估分割点的质量
典型应用：西瓜密度（0.9~1.1g/cm³）

下面演示如何使用 scikit-learn 处理西瓜分类任务中的不同数据类型：

import pandas as pd
from sklearn.tree import DecisionTreeClassifier
from sklearn.preprocessing import LabelEncoder
from sklearn.model_selection import train_test_split

# 模拟西瓜数据集
data = {'texture': ['清晰', '清晰', '稍糊', '模糊', '稍糊'],  # 离散特征
    'sugar_content': [0.12, 0.09, 0.15, 0.18, 0.11],    # 连续特征
    'label': [1, 1, 0, 0, 1]  # 1- 好瓜，0- 坏瓜
}
df = pd.DataFrame(data)

# 离散特征编码
le = LabelEncoder()
df['texture_encoded'] = le.fit_transform(df['texture'])

# 划分特征和标签
X = df[['texture_encoded', 'sugar_content']]
y = df['label']

# 训练决策树
clf = DecisionTreeClassifier(criterion='gini', max_depth=3)
clf.fit(X, y)

# 特征重要性可视化
import matplotlib.pyplot as plt
plt.bar(['texture', 'sugar_content'], clf.feature_importances_)
plt.title('Feature Importance')
plt.show()

不同的数据处理方式会影响模型的性能：