Bagging分类器入门指南：从数据挖掘基础到实战应用

1次阅读

没有评论

共计 2356 个字符，预计需要花费 6 分钟才能阅读完成。

在数据挖掘项目中，我们常常会遇到三类头疼的问题：

数据不平衡：比如信用卡欺诈检测中，正常交易占比 99%，欺诈交易只有 1%。普通分类器会直接忽略少数类。
噪声干扰：数据中存在错误标注或异常值，导致模型学偏。
过拟合：模型在训练集上表现完美，但遇到新数据就崩盘。

Bagging（Bootstrap Aggregating）就像请一群专家开会讨论：每个专家基于不同的数据子集训练，最终投票决定结果。这种机制天然具有抗噪声、缓解过拟合的能力，特别适合上述场景。

自助采样：从原始数据中有放回地随机抽取 N 个样本（可能重复），生成多个差异化的训练子集。
并行训练：用这些子集独立训练多个基分类器（如决策树）。
投票决策：分类任务中采用多数投票，回归任务取平均值作为最终预测。

这种设计让模型既减少了方差（过拟合风险），又能保持较低的偏差（准确度）。

我们用一个电商用户流失预测案例演示完整流程。数据集包含用户行为特征（登录频率、购物车数量等）和是否流失的标签。

# 导入基础库
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# 加载数据
data = pd.read_csv('user_churn.csv')
X = data.drop('is_churn', axis=1)
y = data['is_churn']

# 处理类别型特征（演示 one-hot 编码）X = pd.get_dummies(X, columns=['user_level'])

# 标准化数值特征
scaler = StandardScaler()
X[['login_freq', 'cart_count']] = scaler.fit_transform(X[['login_freq', 'cart_count']])

# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, stratify=y)

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import BaggingClassifier
from sklearn.metrics import classification_report

# 基础决策树
tree = DecisionTreeClassifier(max_depth=5)
tree.fit(X_train, y_train)
print("Single Tree Test:")
print(classification_report(y_test, tree.predict(X_test)))

# Bagging 版本
bagging = BaggingClassifier(base_estimator=DecisionTreeClassifier(max_depth=5),
    n_estimators=50,
    max_samples=0.8,
    oob_score=True  # 启用 OOB 评估
)
bagging.fit(X_train, y_train)
print("\nBagging Test:")
print(classification_report(y_test, bagging.predict(X_test)))
print(f"OOB Score: {bagging.oob_score_:.3f}")  # 袋外估计

运行后会看到：Bagging 版本的召回率（尤其是少数类）通常比单棵树提升 10%-20%，且 OOB 分数与测试集表现接近，说明泛化性更好。