Adaboost不剪枝决策树实战：从西瓜数据集解析到模型优化

1次阅读

没有评论

共计 1691 个字符，预计需要花费 5 分钟才能阅读完成。

Adaboost（Adaptive Boosting）是一种经典的集成学习算法，通过组合多个弱分类器来构建一个强分类器。不剪枝决策树作为基学习器时，往往能提供更高的训练集准确率，但也容易导致过拟合。初学者在使用这种组合时，常遇到以下问题：

模型在训练集上表现很好，但在测试集上表现不佳
不清楚如何选择合适的基学习器数量
对 Adaboost 的权重更新机制理解不充分

决策树是否剪枝是影响模型性能的关键选择：

剪枝决策树
优点：泛化能力强，不易过拟合
缺点：可能欠拟合，训练误差较大
不剪枝决策树
优点：训练误差小，能捕捉复杂模式
缺点：容易过拟合，对噪声敏感

选择不剪枝决策树作为基学习器的原因在于 Adaboost 的集成机制本身就有一定的抗过拟合能力。通过多个弱分类器的加权组合，可以平衡单个分类器的过拟合倾向。

以下是使用 Python 实现的完整示例：

# 导入必要库
import numpy as np
import pandas as pd
from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加载西瓜数据集（假设已预处理为数值特征）data = pd.read_csv('watermelon.csv')
X = data.drop('label', axis=1)
y = data['label']

# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建不剪枝决策树作为基学习器
base_estimator = DecisionTreeClassifier(
    criterion='gini', 
    max_depth=None,  # 不限制深度
    min_samples_split=2,  # 最小分裂样本数
    min_samples_leaf=1,  # 叶节点最小样本数
    random_state=42
)

# 创建 Adaboost 分类器
model = AdaBoostClassifier(
    base_estimator=base_estimator,
    n_estimators=50,  # 基学习器数量
    learning_rate=1.0,  # 学习率
    random_state=42
)

# 训练模型
model.fit(X_train, y_train)

# 评估模型
train_pred = model.predict(X_train)
test_pred = model.predict(X_test)

print(f'训练集准确率: {accuracy_score(y_train, train_pred):.4f}')
print(f'测试集准确率: {accuracy_score(y_test, test_pred):.4f}')

使用不剪枝决策树时需要注意：