集成学习实战：如何通过Bagging和Boosting解决欠拟合与过拟合问题

1次阅读

共计 3721 个字符，预计需要花费 10 分钟才能阅读完成。

在机器学习项目中，我们经常会遇到两个让人头疼的问题：欠拟合和过拟合。简单来说，欠拟合就是模型学得不够好，在训练集和测试集上表现都不理想；而过拟合则是模型学得太好，在训练集上表现优异但在测试集上表现糟糕。这两个问题直接影响模型在实际业务中的效果，可能导致预测不准、业务决策失误等问题。

欠拟合：
训练集和验证集上的准确率 / 指标都很低
模型无法捕捉数据中的基本模式
常见原因：模型太简单、特征不足、训练不足
过拟合：
训练集上表现很好，验证集上表现差
模型记住了训练数据的噪声和细节
常见原因：模型太复杂、训练数据不足、训练过度

集成学习通过组合多个模型 (基学习器) 来提高整体性能。主要有两种思路：

Bagging：并行训练多个模型，然后投票或平均(适合解决过拟合)
Boosting：串行训练模型，每个模型修正前一个的错误(适合解决欠拟合)

随机森林 (Random Forest) 是 Bagging 的典型代表，其核心思想是：

自助采样(Bootstrap)：从训练集中有放回地随机抽取样本
特征子集：每个决策树节点只考虑随机特征子集
多数投票：所有树的结果进行投票决定最终预测

这种方法通过引入随机性来降低方差，防止过拟合。数学上可以表示为：

预测结果 = mode({tree1(x), tree2(x), ..., treeN(x)})  # 分类问题
预测结果 = mean({tree1(x), tree2(x), ..., treeN(x)})  # 回归问题

下面是用 Scikit-learn 实现随机森林分类的完整示例：

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.datasets import load_breast_cancer
from sklearn.preprocessing import StandardScaler

# 加载数据
data = load_breast_cancer()
X, y = data.data, data.target

# 特征工程：标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42)

# 创建随机森林模型
# 关键参数说明：# n_estimators: 树的数量
# max_depth: 树的最大深度(控制复杂度)
# min_samples_split: 节点分裂最小样本数
# max_features: 考虑的特征子集大小
rf = RandomForestClassifier(
    n_estimators=100,
    max_depth=8,
    min_samples_split=5,
    max_features='sqrt',
    random_state=42
)

# 训练模型
rf.fit(X_train, y_train)

# 预测并评估
preds = rf.predict(X_test)
print(f"测试集准确率: {accuracy_score(y_test, preds):.4f}")

# 特征重要性
importances = rf.feature_importances_
for name, importance in zip(data.feature_names, importances):
    print(f"{name}: {importance:.4f}")

n_estimators：增加树的数量会提高性能，但也会增加计算成本(通常 100-500)
max_depth：限制树深度可以防止过拟合
max_features：较小的值增加随机性，防止过拟合
min_samples_split：较大的值可以防止模型学习过于特定的模式

梯度提升树 (GBDT) 是 Boosting 的典型代表，其核心思想是：

顺序训练多个弱学习器(通常是浅层决策树)
每个新模型都专注于修正前一个模型的错误
通过梯度下降来最小化损失函数

数学上可以表示为：

F_m(x) = F_{m-1}(x) + ν * h_m(x)

其中 ν 是学习率，h_m(x)是新加入的弱学习器。

下面是 XGBoost 回归任务的代码示例，包含 early stopping：

import xgboost as xgb
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 加载数据
data = load_boston()
X, y = data.data, data.target

# 划分训练 / 验证 / 测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.25, random_state=42)

# 转换为 DMatrix 格式(提高 XGBoost 效率)
dtrain = xgb.DMatrix(X_train, label=y_train)
dval = xgb.DMatrix(X_val, label=y_val)
dtest = xgb.DMatrix(X_test, label=y_test)

# 定义参数
params = {
    'objective': 'reg:squarederror',  # 回归任务
    'learning_rate': 0.05,            # 学习率
    'max_depth': 4,                   # 树的最大深度
    'subsample': 0.8,                 # 样本采样比例
    'colsample_bytree': 0.8,          # 特征采样比例
    'eval_metric': 'rmse'             # 评估指标
}

# 训练模型，使用 early stopping
evals = [(dtrain, 'train'), (dval, 'eval')]
model = xgb.train(
    params,
    dtrain,
    num_boost_round=1000,
    evals=evals,
    early_stopping_rounds=10,  # 10 轮不提升则停止
    verbose_eval=10
)

# 预测并评估
preds = model.predict(dtest)
print(f"测试集 RMSE: {mean_squared_error(y_test, preds, squared=False):.4f}")

# 特征重要性
importance = model.get_score(importance_type='weight')
for k, v in sorted(importance.items(), key=lambda x: x[1], reverse=True):
    print(f"{k}: {v}")

学习率(η)：较小的值需要更多迭代但可能得到更好结果
early stopping：防止过拟合的实用技巧
样本 / 特征子采样：增加随机性，防止过拟合

维度	Bagging(随机森林)	Boosting(GBDT/XGBoost)
主要目标	减少方差(防止过拟合)	减少偏差(解决欠拟合)
训练方式	并行	串行
样本使用	自助采样	全部样本
抗噪声能力	强	较弱
计算效率	高(可并行)	较低
适用场景	高方差问题	高偏差问题