随机森林与XGBoost模型实战指南：从原理到生产环境部署

1次阅读

共计 2399 个字符，预计需要花费 6 分钟才能阅读完成。

集成学习是机器学习中一种强大的技术，它通过组合多个基学习器来提升整体模型的性能。随机森林和 XGBoost 是两种最常用的集成学习方法，它们在许多实际应用中表现出色。

随机森林：基于 Bagging（Bootstrap Aggregating）方法，通过构建多棵决策树并投票或平均来预测结果。
XGBoost：基于 Gradient Boosting 方法，通过迭代地添加弱学习器（通常是决策树）来优化损失函数。

Bagging 机制：随机森林通过从训练集中有放回地抽取样本（Bootstrap 采样）来构建多棵决策树，每棵树在独立的样本子集上训练。
特征随机选择：在每棵树的每个节点分裂时，随机选择一部分特征进行分裂，增加了模型的多样性。
最终预测：分类任务通过投票决定最终结果，回归任务通过平均各树的预测值。

梯度提升决策树：XGBoost 通过梯度下降优化损失函数，逐步添加新的树来纠正之前树的错误。
正则化策略：XGBoost 引入了 L1 和 L2 正则化项，防止模型过拟合。
其他优化：支持并行化、缺失值处理、自定义损失函数等。

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
import seaborn as sns

# 加载数据
iris = load_iris()
X, y = iris.data, iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练模型
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)

# 特征重要性可视化
feature_importances = model.feature_importances_
features = iris.feature_names

plt.figure(figsize=(10, 6))
sns.barplot(x=feature_importances, y=features)
plt.title('Feature Importance')
plt.show()

import xgboost as xgb
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 加载数据
boston = load_boston()
X, y = boston.data, boston.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 转换为 DMatrix 格式（XGBoost 专用）dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test, label=y_test)

# 参数设置
params = {
    'objective': 'reg:squarederror',
    'max_depth': 3,
    'eta': 0.1,
    'subsample': 0.8,
    'colsample_bytree': 0.8
}

# 训练模型
model = xgb.train(
    params,
    dtrain,
    num_boost_round=1000,
    evals=[(dtrain, 'train'), (dtest, 'test')],
    early_stopping_rounds=10,
    verbose_eval=50
)

# 预测
predictions = model.predict(dtest)

# 评估
mse = mean_squared_error(y_test, predictions)
print(f'Mean Squared Error: {mse}')