集成学习实战：使用随机森林、AdaBoost和Stacking模型对鸢尾花数据进行分类与性能评估

1次阅读

共计 2313 个字符，预计需要花费 6 分钟才能阅读完成。

集成学习通过组合多个弱学习器来构建一个强学习器，能够显著提升模型的泛化能力和鲁棒性。在实际的分类任务中，单一模型往往难以兼顾准确性和稳定性，而集成方法通过不同策略整合多个模型的优势，成为解决这一痛点的有效手段。鸢尾花数据集作为经典的分类数据集，非常适合用来演示不同集成方法的特性。

随机森林
优点：并行训练效率高、抗过拟合能力强、能处理高维特征
缺点：解释性较差、对噪声敏感
适用场景：特征维度高、需要快速 baseline 的场景
AdaBoost
优点：对异常值敏感度低、可逐步优化模型
缺点：对噪声数据敏感、训练时间较长
适用场景：分类边界清晰、数据质量较好的情况
Stacking
优点：模型组合灵活、通常能获得最佳性能
缺点：实现复杂、计算成本高
适用场景：追求最高准确率且计算资源充足的场景

设置 n_estimators=100 保证足够多的决策树参与投票
bootstrap=True 启用放回抽样（Bagging）
采用默认的 Gini 不纯度作为分裂标准

n_estimators=100 控制迭代次数
learning_rate=0.1 防止过拟合的保守学习率
使用决策树桩（max_depth=1）作为基分类器

第一层基分类器：决策树（max_depth=3）和 KNN（n_neighbors=5）
元学习器：逻辑回归（C=1.0）
采用 5 折交叉验证生成元特征

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import classification_report
from sklearn.ensemble import StackingClassifier

# 数据加载与分割
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=42)

# 随机森林
rf = RandomForestClassifier(n_estimators=100, bootstrap=True)
rf.fit(X_train, y_train)

# AdaBoost
ada = AdaBoostClassifier(n_estimators=100, learning_rate=0.1)
ada.fit(X_train, y_train)

# Stacking
base_models = [('dt', DecisionTreeClassifier(max_depth=3)),
    ('knn', KNeighborsClassifier(n_neighbors=5))
]
stack = StackingClassifier(
    estimators=base_models,
    final_estimator=LogisticRegression())
stack.fit(X_train, y_train)

# 评估函数
def evaluate(model, name):
    y_pred = model.predict(X_test)
    print(f"{name} 评估结果:")
    print(classification_report(y_test, y_pred, target_names=iris.target_names))

# 执行评估
evaluate(rf, "随机森林")
evaluate(ada, "AdaBoost")
evaluate(stack, "Stacking")

通过对比测试集上的评估指标，我们发现：