基于决策树的集成学习方法在鸢尾花数据集分类中的实战应用

1次阅读

共计 1822 个字符，预计需要花费 5 分钟才能阅读完成。

鸢尾花数据集是机器学习领域的经典数据集，包含 3 个类别（setosa、versicolor、virginica），每个类别 50 个样本，每个样本有 4 个特征（萼片长度、萼片宽度、花瓣长度、花瓣宽度）。虽然数据集规模较小且特征较少，但在实际分类任务中仍面临以下挑战：

类别间特征重叠：尤其是 versicolor 和 virginica 两类，在特征空间中有较多重叠区域。
样本量有限：每个类别仅 50 个样本，容易导致模型泛化能力不足。
单一模型局限性：决策树等单一模型容易过拟合或欠拟合，稳定性较差。

集成学习方法通过结合多个基学习器的预测结果，能够有效提升模型的泛化能力和鲁棒性，特别适合解决这类问题。

优点：
模型解释性强
训练速度快
无需特征缩放
缺点：
容易过拟合
对数据微小变化敏感
预测方差较大

Bagging（如 Random Forest）
通过自助采样构建多个基学习器
降低方差，提高稳定性
适合高方差低偏差模型
Boosting（如 AdaBoost）
顺序训练基学习器，关注错误样本
降低偏差，提高准确率
容易过拟合噪声数据
Stacking
结合多种算法的优势
需要更复杂的实现
计算成本较高

选型建议 ：对于鸢尾花数据集，Random Forest 因其简单高效、不易过拟合的特性成为首选。

加载数据集并划分训练 / 测试集（80%/20%）
无需特征缩放（决策树不受量纲影响）
检查类别分布是否均衡

基学习器：决策树（max_depth=3）
集成方法：Random Forest（n_estimators=100）
其他参数使用默认值

使用交叉验证评估模型性能
记录训练时间
监控每个基学习器的表现

from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report

# 加载数据
iris = load_iris()
X, y = iris.data, iris.target

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 构建模型
model = RandomForestClassifier(
    n_estimators=100,
    max_depth=3,
    random_state=42
)

# 训练模型
model.fit(X_train, y_train)

# 评估模型
print(classification_report(y_test, model.predict(X_test)))

# 特征重要性
print("Feature importances:", model.feature_importances_)