分类算法实战指南：逻辑回归、随机森林与XGBoost的对比与优化

1次阅读

共计 1888 个字符，预计需要花费 5 分钟才能阅读完成。

分类任务是机器学习中最常见的应用场景之一，广泛应用于金融风控、医疗诊断、推荐系统等领域。但在实际应用中，开发者常常面临以下挑战：

数据不平衡：某些类别的样本数量远多于其他类别，导致模型偏向多数类
特征维度高：特征数量多且存在冗余，影响模型训练效率和效果
算法选择困难：不同算法在不同场景下表现差异大，缺乏明确的选用标准

算法	原理	优点	缺点	适用场景
逻辑回归	通过 sigmoid 函数将线性回归结果映射到 [0,1] 区间	训练速度快，模型可解释性强	只能处理线性可分问题	二分类问题，特征间线性相关
随机森林	通过构建多棵决策树并投票决定最终结果	抗过拟合能力强，能处理非线性问题	模型解释性较差	高维特征，非线性关系
XGBoost	基于梯度提升的集成算法，逐步优化预测结果	准确率高，支持并行计算	参数调优复杂	大规模数据，对精度要求高

from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler

# 数据预处理
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 模型训练
lr = LogisticRegression(penalty='l2', C=1.0)
lr.fit(X_train_scaled, y_train)

# 模型评估
from sklearn.metrics import accuracy_score
y_pred = lr.predict(X_test_scaled)
print(f'Accuracy: {accuracy_score(y_test, y_pred)}')

from sklearn.ensemble import RandomForestClassifier

# 模型训练
rf = RandomForestClassifier(
    n_estimators=100,
    max_depth=10,
    min_samples_split=2
)
rf.fit(X_train, y_train)

# 模型评估
y_pred = rf.predict(X_test)
print(f'Accuracy: {accuracy_score(y_test, y_pred)}')

import xgboost as xgb

# 数据转换
dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test, label=y_test)

# 参数设置
params = {
    'objective': 'binary:logistic',
    'max_depth': 6,
    'eta': 0.3,
    'subsample': 0.8
}

# 模型训练
model = xgb.train(params, dtrain, num_boost_round=100)

# 模型评估
y_pred = model.predict(dtest)
y_pred = [1 if x > 0.5 else 0 for x in y_pred]
print(f'Accuracy: {accuracy_score(y_test, y_pred)}')

我们在公开数据集上对三种算法进行了对比测试，结果如下：