决策树分类实战：从Iris数据集解析到Python实现

1次阅读

没有评论

共计 1864 个字符，预计需要花费 5 分钟才能阅读完成。

Iris 数据集是机器学习的经典入门数据集，包含 150 个样本，每个样本有 4 个特征（花萼长度、花萼宽度、花瓣长度、花瓣宽度）和 1 个类别标签（Setosa、Versicolor、Virginica）。这个数据集的特点是：

特征均为连续数值型
类别完全平衡（每类 50 个样本）
特征与类别间存在明显相关性

决策树通过递归地将数据划分为更纯净的子集来进行分类。主要包含两个步骤：

特征选择 ：根据某种标准（如信息增益、基尼指数）选择最佳分裂特征
节点分裂 ：按照选定特征的值将数据划分到不同子节点

算法会递归执行这两个步骤，直到满足停止条件（如节点纯度达到阈值、达到最大深度等）。

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据
iris = load_iris()
X, y = iris.data, iris.target

# 划分训练集和测试集（7:3 比例）X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

from sklearn.tree import DecisionTreeClassifier

# 创建决策树模型
# criterion: 分裂标准（gini/entropy）# max_depth: 树的最大深度
# min_samples_split: 节点分裂所需最小样本数
model = DecisionTreeClassifier(criterion='gini', 
                              max_depth=3,
                              min_samples_split=2,
                              random_state=42)

# 训练模型
model.fit(X_train, y_train)

from sklearn.metrics import accuracy_score, classification_report

# 预测测试集
y_pred = model.predict(X_test)

# 计算准确率
print(f"准确率: {accuracy_score(y_test, y_pred):.2f}")

# 打印分类报告
print(classification_report(y_test, y_pred))

criterion: 分裂标准
‘gini’：基尼不纯度（计算更快）
‘entropy’：信息增益（理论上更精确）
max_depth: 控制树的最大深度
值太小可能导致欠拟合
值太大容易过拟合
min_samples_split: 节点继续分裂所需的最小样本数
防止对极少数样本做过细划分

使用交叉验证选择最优参数
设置合理的 max_depth
添加 min_samples_split/min_samples_leaf 约束
使用剪枝（sklearn 中通过 ccp_alpha 参数）

# 测试不同分裂标准
for criterion in ['gini', 'entropy']:
    model = DecisionTreeClassifier(criterion=criterion, random_state=42)
    model.fit(X_train, y_train)
    acc = model.score(X_test, y_test)
    print(f"{criterion} 标准准确率: {acc:.3f}")

决策树不需要特征缩放，因为它基于特征值比较做分裂，不受特征尺度影响。