机器学习分类算法实战指南：从逻辑回归到XGBoost的完整实现与对比

1次阅读

没有评论

共计 2286 个字符，预计需要花费 6 分钟才能阅读完成。

分类问题是机器学习中最常见的任务之一，它的目标是将数据划分到预定义的类别中。在实际业务中，分类算法广泛应用于：

金融风控（判断贷款是否违约）
医疗诊断（判断肿瘤是良性还是恶性）
电商推荐（判断用户是否会购买某商品）

然而，面对不同的业务场景和数据特征，选择合适分类算法并非易事。新手常遇到的挑战包括：

算法原理复杂，难以理解
不知道如何评估算法性能
调参过程繁琐，效果不稳定
生产环境中的工程化问题

原理：
– 线性模型的分类扩展
– 通过 sigmoid 函数将线性输出映射到 [0,1] 概率

适用场景：
– 特征与目标呈近似线性关系
– 需要概率输出的场景
– 数据量中等（万级）

优点：
– 模型简单，训练速度快
– 输出具有概率意义
– 可解释性强

缺点：
– 难以捕捉非线性关系
– 对特征工程依赖较大

原理：
– 基于决策树的集成方法
– 通过 bagging 减少方差

适用场景：
– 特征间存在复杂交互
– 数据存在缺失值或噪音
– 不需要精细调参

优点：
– 能自动处理特征重要性
– 对异常值不敏感
– 并行训练效率高

缺点：
– 模型解释性较差
– 可能过拟合噪声数据
– 内存消耗较大

原理：
– 基于梯度提升的树模型
– 通过正则化防止过拟合

适用场景：
– 结构化数据竞赛
– 需要高精度预测
– 特征维度较高

优点：
– 预测精度通常最高
– 内置缺失值处理
– 提供早停机制

缺点：
– 调参复杂度高
– 训练时间较长
– 对 CPU 资源要求高

# 导入必要库
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
import xgboost as xgb
from sklearn.metrics import accuracy_score

from sklearn.datasets import load_iris

# 加载数据
iris = load_iris()
X, y = iris.data, iris.target

# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 初始化模型
lr = LogisticRegression(max_iter=200, multi_class='multinomial')

# 训练模型
lr.fit(X_train, y_train)

# 预测并评估
lr_pred = lr.predict(X_test)
lr_acc = accuracy_score(y_test, lr_pred)
print(f"逻辑回归准确率: {lr_acc:.4f}")

# 初始化模型
rf = RandomForestClassifier(n_estimators=100, random_state=42)

# 训练模型
rf.fit(X_train, y_train)

# 预测并评估
rf_pred = rf.predict(X_test)
rf_acc = accuracy_score(y_test, rf_pred)
print(f"随机森林准确率: {rf_acc:.4f}")

# 初始化模型
xgb_clf = xgb.XGBClassifier(
    objective='multi:softmax',
    num_class=3,
    n_estimators=100,
    learning_rate=0.1,
    random_state=42
)

# 训练模型
xgb_clf.fit(X_train, y_train)

# 预测并评估
xgb_pred = xgb_clf.predict(X_test)
xgb_acc = accuracy_score(y_test, xgb_pred)
print(f"XGBoost 准确率: {xgb_acc:.4f}")

我们在相同数据集上运行三种算法，得到如下对比结果：