基于决策树算法的Iris数据集分类实战：从原理到最佳实践

1次阅读

共计 1855 个字符，预计需要花费 5 分钟才能阅读完成。

Iris 数据集是机器学习领域最经典的数据集之一，由统计学家 R.A. Fisher 在 1936 年首次引入。它包含了 150 个样本，每个样本有 4 个特征（花萼长度、花萼宽度、花瓣长度、花瓣宽度）和 1 个类别标签（Setosa、Versicolour、Virginica 三种鸢尾花）。这个数据集规模适中，特征清晰，非常适合初学者用来学习和实践分类算法。

对于机器学习初学者来说，分类任务常常会遇到以下几个问题：

过拟合：模型在训练集上表现很好，但在测试集上表现不佳。
特征选择：不知道哪些特征对分类结果影响最大。
参数调优：不清楚如何设置模型参数以达到最佳效果。

决策树是一种树形结构的分类器，通过一系列的问题（基于特征的判断）来对数据进行分类。每个内部节点代表一个特征测试，每个分支代表测试结果，每个叶节点代表一个类别。

决策树的核心是分裂标准，常用的有两种：

信息增益（Information Gain）：基于信息熵的减少来选择最优分裂特征。
基尼系数（Gini Index）：衡量数据的不纯度，基尼系数越小，数据纯度越高。

SVM（支持向量机）：适合高维数据和小样本情况，但对大规模数据训练较慢。
KNN（K 近邻）：简单直观，但对噪声数据和特征尺度敏感。
决策树：直观易懂，能处理非线性关系，但容易过拟合。

以下是使用 Python 和 scikit-learn 实现决策树分类的完整代码：

# 导入必要的库
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加载数据集
iris = load_iris()
X = iris.data
y = iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建决策树分类器
# max_depth 参数控制树的最大深度，防止过拟合
clf = DecisionTreeClassifier(max_depth=3, random_state=42)

# 训练模型
clf.fit(X_train, y_train)

# 预测测试集
y_pred = clf.predict(X_test)

# 评估模型
accuracy = accuracy_score(y_test, y_pred)
print(f'模型准确率: {accuracy:.2f}')

剪枝是防止决策树过拟合的重要手段，分为预剪枝和后剪枝：

预剪枝：在树生长过程中提前停止，如设置 max_depth、min_samples_split 等参数。
后剪枝：先生成完整的树，然后从下往上剪枝。

max_depth：树的最大深度。
min_samples_split：节点分裂所需的最小样本数。
min_samples_leaf：叶节点所需的最小样本数。

使用 plot_tree 函数可以可视化决策树的结构：

from sklearn.tree import plot_tree
import matplotlib.pyplot as plt

plt.figure(figsize=(12, 8))
plot_tree(clf, filled=True, feature_names=iris.feature_names, class_names=iris.target_names)
plt.show()